说明
1、在代理IP采集模块，采集代理IP，检测代理IP。如果不可用，直接过滤掉。如果可用，指定默认分数，存储在数据库中。
2、在代理IP检测模块，从数据库中获取所有代理IP，检测代理。如代理IP不能使用，则将分数-1，如果分数为0，则从数据库中删除，否则更新数据库，如果代理IP可以使用，则恢复默认分数，更新数据库。
3、在代理API模块，从数据库中为爬虫提供可用的代理IP。
实例
数据模型
class Proxy(object): def __init__(self, ip, port, protocol=-1, nick_type=-1, speed=-1, area=None, score=MAX_SCORE, disable_domains=[]): # ip: 代理的IP地址 self.ip = ip # port: 代理IP的端口号 self.port = port # protocol: 代理IP支持的协议类型, http是0, https是1, https和http都支持是2，-1不可用 self.protocol = protocol # nick_type: 代理IP的匿名程度, 高匿: 0, 匿名: 1, 透明: 2 self.nick_type = nick_type # speed: 代理IP的响应速度, 单位s self.speed = speed # area: 代理IP所在地区 self.area = area # score: 代理IP的评分, 用于衡量代理的可用性; self.score = score # 默认分值可以通过配置文件进行配置.在进行代理可用性检查的时候, 每遇到一次请求失败就减1份, 减到0的时候从池中删除.如果检查代理可用, 就恢复默认分值 # disable_domains: 不可用域名列表, 有些代理IP在某些域名下不可用, 但是在其他域名下可用 self.disable_domains = disable_domains # 3. 提供 __str__ 方法, 返回数据字符串 def __str__(self): # 返回数据字符串 return str(self.__dict__)
以上就是爬虫从ip代理池获取的方法，推荐大家使用品易http代理ip，千万ip资源百兆带宽，保证爬虫数据传输安全。提供高匿稳定代理ip服务，方便快捷获取网站数据，流量免费测试正在进行！更多常见问题解决：ip
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/3522/viewspace-2828791/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
php如何反向打印数组元素
下一篇：
Python中os模块的功能介绍
请登录后发表评论
登录
全部评论
