方案1：每个过程界面随机取得IP列表反复使用，无效后调用API获得。
大致逻辑如下：
1、各过程，从接口随机回收ip的一部分，反复尝试ip目录来捕捉数据
2、如果访问成功，继续抓住下一个。
3、失败后，从界面取IP，继续尝试。
方案缺点:所有IP都有期限，提取100个，使用第20个时，其馀的可能不能使用。设置HTTP请求时连接时间超过3秒，读取时间超过5秒，可能需要3~8秒，在这3~8秒内可能抓住数百次。
方案2：首先抽取大量的IP，导入本地数据库，然后从数据库中抽取IP。
通用的逻辑如下：
1、在数据库中创建一个表格，写出每分钟需要多少次API的导入脚本(请咨询代理IP服务提供者的建议)，并将IP清单导入数据库。
2、将导入时间、IP、端口、过期时间、IP可用状态等字段记录到数据库中；
3、编写一个抓取脚本，该抓取脚本从数据库中读取可用IP，每个过程都从数据库中获取一个IP用法。
4、进行抓取、判断结果、处理cookie等，只要出现验证码或错误，就放弃IP，重新更换IP。
如果不使用ip代理，爬虫效果肯定是不好的，所以大多数爬虫运营商会使用安全稳定的代理ip。使用高质量的代理ip后，可以改进方案，有效分配资源，提高工作效率。
本方案能够有效地避免代理服务器对资源的消耗，有效地分配使用代理IP，提高系统的稳定性，保证爬虫工作的持久性和稳定性。大家如果对爬虫ip资源有所需要，可以点击品易云http代理，安全稳定，可以免费提取测试。
（推荐操作系统：windows7系统、Python 3.9.1，DELL G3电脑。）
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/835/viewspace-2830194/ ，如需转载，请注明出处，否则将追究法律责任。
