对于一些保存重要信息的网站，它的反爬技术会比较严密，它会严苛检查每一个IP的请求操作，然后对于可能是异常的请求，返回某一页面给对应请求或是提示需要登录信息等等甚至可能把相应的IP拉入黑名单。
这个时候我们可能就需要代理IP来隐藏我们的身份，以及通过更换IP来达到不断爬取数据的目的。
那么这些代理IP要从哪儿获取呢?
如果你百度，其实会有蛮多免费代理IP的网站，里面会有很多的代理IP，但是不要太开心，因为这里的代理IP大都不稳定甚至失效(不然为什么那么多都要钱呢)，所以当你批量爬下来代理IP后，还需要再单独写一个程序，去利用每一个IP请求一个一定有的网站，例如百度，如果这个IP的requests.get才能说明这个IP是可用的。
当然，建议你最好去买套餐，因为这样得IP会稳定很多，我自己对于免费IP的处理真的是很头疼，有些在你测试成功了之后，当你访问你需要请求的网站时，还是会报错。最后我还是买了套餐进行测试，所以说有钱真的能省很多事。
第一，一般拿到的IP都比较稳定，
第二，一般那些网站都会有自己的软件，它们可以在运行的时候后台帮你切换IP地址，所以就不用专门构造IP地址赋值给proxies属性。这时候如果你想知道IP地址有没有切换，最简单的方法就是，直接在百度下搜索‘IP’，就可以显示你现在本机的IP地址了。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/4505/viewspace-2830252/ ，如需转载，请注明出处，否则将追究法律责任。
