1、降低访问频率。每次抓取一页，休息几秒钟，限制每天抓取的页数。
关于采集的时间间隔，可以先测试目标网站允许的最大访问频率，越接近最大访问频率，就越容易被封IP，这就需要设置一个合理的时间间隔，既能满足采集速度，又不受IP限制。
2、使用高匿名代理。要突破网站的反爬虫机制，需要使用代理IP，通过更换IP多次访问。
使用多线程，还需要大量的IP，并使用高度匿名的代理，否则会被目标网站检测到你使用了代理IP，并透露出你的真实IP，这样肯定会封IP。假如使用高匿名代理就不一样了，对方也没有发现。
3、多线程采集。
收集数据，想尽快收集更多的数据。否则，大量的工作会一个一个地收集，花费时间。例如，每隔几秒收集一次，每分钟收集10次左右，每天收集1万多页。假如是小网站还好，但是大网站上千万的网页怎么办，按照这个速度收集需要很多时间。
建议采集大批量的数据，可以使用多线程，它可以同步完成多项任务，每个线程采集不同的任务，提高采集数量。
上述就是在收集数据时，爬虫如何防止网站封IP，即减少访问频率，并使用高匿名代理进行辅助，还需要多线收集，从而大大降低网站封IP的几率。若要了解更多爬虫采集问题，可关注太阳http代理IP，也可免费试用哦。
（推荐操作系统：windows7系统、Internet Explorer 11，DELL G3电脑。）
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/2005/viewspace-2828298/ ，如需转载，请注明出处，否则将追究法律责任。
