Python有一个第三方模块pybloom，这个Python包已经实现了布隆过滤器算法；同时pybloom不仅支持BloomFilter，而且对BloomFilter进行了增强——ScalableBloomFilter，长度可动态扩展的布隆过滤器。
所以不需要自己实现，直接拿来使用就可以了。
pybloom包安装：pip install pybloom
pybloom完整的示例代码：
只要看一遍就知道pybloom包如何使用了，便可轻松应用到自己的爬虫中！
最后
以上内容，可用于单机版网络爬虫中的URL去重；
但是分布式网络爬虫，共用一份去重数据，保证去重数据一致性，这就需要布隆过滤器另外一个实现版本（基于Redis），敬请期待！
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69918097/viewspace-3155457/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
用《西游记》的方式，打开互联网公司
请登录后发表评论
登录
全部评论
