1、代理IP获取接口。爬虫免费代理IP可以使用ProxyGetter界面，从免费代理源的网站中抓取最新的代理IP。
或者付费网站每天都会提供一些最新的地理IP；如果是付费代理IP，一般都有API提供IP，会有一定的限制，比如每次提取多少，提取间隔多少秒。
2、代理IP数据库。
为了存储获得的代理IP，建议选择SSDB。SSDB的性能非常突出，与Redis基本相同。Redis是一种内存类型，容量问题是弱点，内存成本太高。针对这一弱点，SSDB使用硬盘存储和Google高性能存储引擎LevelDB，适用于大数据处理和Redis级别优化性能。
3、代理IP检测计划。
代理人IP具有及时性，无论是免费代理IP还是付费代理IP，都有一个有效期，过了有效期就会失效，所以需要去检验其有效性。建立定时检测计划，检测代理IP的有效性，去除无效IP、高延迟IP，同时预警，当IP池中IP小于某个阈值时，通过代理IP获取接口获得新IP。
4、代理IP池外部接口。
对于代理IP池，还需要设计一个外部接口，通过该接口来调用IP池中的IP为爬虫使用。代理IP池功能比较简单，使用Flask就可以搞定。该功能可为爬虫提供接口，如get/delete/refresh，方便爬虫直接使用。本地代理IP池的设计是为了方便爬虫，提高效率，所以设计尽量简单方便。如果使用付费代理，爬虫工作要求不高，就不需要建立本地代理IP池
代理IP我就比较推荐太阳http，高匿名HTTP代理IP,SOCKS5代理IP,千万IP实时过滤去重,全国600个城市节点,低延迟,高可用率,安全稳定,自动切换,稳定不掉线,24小时实时更新,企业级高质量IP代理供应服务平台！
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/420/viewspace-2828624/ ，如需转载，请注明出处，否则将追究法律责任。
