什么情况下的爬虫不需要使用代理IP
许多人认为爬虫的工作和代理IP是不可或缺的，爬虫必须使用代理。但事实并非如此，爬虫无需代理即可。爬虫程序只是模仿访问网站的用户，对于服务器来说，这种特殊的用户往往不遵守规则，增加服务器的压力，所以网站总是以各种方式被发现和禁止。有时候，你可以不用代理也可以爬取数据。
1、业务量小。
小型爬虫工作无需使用代理IP即可完成。例如，爬上数百篇文章，可以在列车头轻松解决，或者对工作效率的要求不高，可以模拟人工正常访问速度慢慢爬行。
2、反爬行战略很弱。
有些网站没有反爬虫类的战略，即使不代理IP也能正常做爬虫类的工作，但是为了不让网站服务器崩溃，建议不要太随便。有些网站反爬虫类战略弱，即使不代理IP也能正常做爬虫类的工作。
3、访问频率低。
反爬虫战略最常见的方法是判断单个IP的访问频率，因为普通用户访问网页的频率不会很快。为了避免被服务器发现，可以选择降低访问频率的方法，但爬虫类的访问频率、访问逻辑与普通用户相似，爬虫类就没有意义了。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/4295/viewspace-2828220/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
代理错误是什么意思
下一篇：
爬虫代理IP经常遇到的问题怎么解决？
请登录后发表评论
登录
全部评论
