首页 > 应用开发 > > 分布式爬虫如何url去重?
最近刚接触网络爬虫,写到分布式爬虫的url去重的时候感到很疑惑,网上看到的HashSet、MD5和BloomFilter都是单机上的,集群中难道只能用分布式数据库来检索?还有其他的好办法么,或者已经成熟的框架么?
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/1868/viewspace-3147609/ ,如需转载,请注明出处,否则将追究法律责任。
注册时间:2019-07-17