傻傻的网络爬虫
爬虫是伴随着搜索引擎诞生的，不仅google和baidu有自己的爬虫，就是一些大的门户网站都有自己的爬虫；一些智能的搜索引擎爬虫的爬取频率比较合理，对网站资源消耗比较少，但是很多糟糕的网络爬虫，对网页爬取能力很差，经常并发几十上百个请求循环重复抓取，这种爬虫对中小型网站往往是毁灭性打击，特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强。如果网站使用了http缓存机制的话，那么像Google这种比较智能的网络爬虫可以有效识别资源的状态信息，可以大大减少爬虫的爬取次数；
对于一个原创内容丰富，URL结构合理易于爬取的网站来说，简直就是各种爬虫的盘中大餐，很多网站的访问流量构成当中，爬虫带来的流量要远远超过真实用户访问流量，甚至爬虫流量要高出真实流量一个数量级。即使设置了相当严格的反爬虫策略，也很难避免。可以肯定的说，当今互联网的网络流量至少有2/3的流量爬虫带来的。因此反爬虫是一个值得网站长期探索和解决的问题，反爬工作很重要;
[@more@]来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/21645448/viewspace-1030432/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
语录_内部论坛转载
下一篇：
一个出轨男人和佛的对话_经典
请登录后发表评论
登录
全部评论
