现在我们可以充分发挥爬虫技术，大量收集数据。爬行动物的行为常常受到许多限制，最终被完全封锁。怎样才能避免呢？
认证码，我们在很多网站上都会遇到，如果要求量大了，就会遇到认证码的情况。对验证码，可通过OCR识别图片，Github上有许多大神共享的代码可供使用，可供查看。
减少返回的信息，隐藏最基本的真实数据，只有不断加载才能刷新信息。还有就是变态，只会给你看一些信息，没人能看到，爬虫也无能为力。比如CNKI，每次搜索都能得到非常有限的内容。这似乎没有很好的解决办法，但这样做的网站毕竟是少数，因为这种方式实际上牺牲了一些真实用户的体验。
IP限制和IP限制也是很多网站反爬虫的初衷，但我们可以通过HTTP替换IP来绕过这个限制。比如搭配极光HTTP，每天拥有海量的全国资源，保证IP纯度，有效提高爬虫工作效率。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/2752/viewspace-2828696/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
怎么设置静态ip使网速更快
请登录后发表评论
登录
全部评论
