ITPub博客

首页 > 应用开发 > > 分布式爬虫如何url去重?

分布式爬虫如何url去重?

作者:germo 时间:2019-09-11 14:12:38 0 删除 编辑

最近刚接触网络爬虫,写到分布式爬虫的url去重的时候感到很疑惑,网上看到的HashSet、MD5和BloomFilter都是单机上的,集群中难道只能用分布式数据库来检索?还有其他的好办法么,或者已经成熟的框架么?


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/1868/viewspace-3147609/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-07-17

  • 博文量
    209
  • 访问量
    9122