1、原因
在制作爬虫的过程中，最初爬虫正常运行，正常爬取数据，一切看起来都很好，但是一会就出错了。
出现这个现象的原因是因为网站采取了一些反爬中措施，如：服务器检测IP在单位时间内请求次数超过某个阀值导致，称为封IP。
2、解决方法
为了解决此类问题，代理就派上了用场，如：代理软件、付费代理、ADSL拨号代理，以帮助爬虫脱离封IP的苦海。
3、测试HTTP请求及响应的网站:http://httpbin.org/
GET地址 ：http://httpbin.org/get
POST地址：http://httpbin.org/post
httpbin这个网站能测试 HTTP 请求和响应的各种信息，比如 cookie、ip、headers 和登录验证等.
且支持 GET、POST 等多种方法，对 web 开发和测试很有帮助。
它用 Python + Flask 编写，是一个开源项目。开源地址：https://github.com/Runscope/httpbin
返回信息中origin的字段就是客户端的IP地址，即可判断是否成功伪装IP。
以上就是爬虫时IP被禁的原因及解决，大家可以根据上面提到的方法进行问题的处理。爬虫时建议结合代理IP，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，无限调用IP量！更多常见问题解决：ip
推荐操作环境：windows7系统、Python 3.9.1，DELL G3电脑。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/625/viewspace-2829502/ ，如需转载，请注明出处，否则将追究法律责任。
