在大数据时代，获取海量数据离不开爬虫技术。爬行器能加速获取信息，大大提高工作效率，适用于各种行业，因此许多人使用爬行器。另外，随着代理IP的使用，爬虫技术的应用也越来越广泛。类似地，为了保护自己的数据，许多网站都设置了反爬虫。除验证码限制外，还有其它IP限制，数据伪装，动态载入等。和这些反爬虫相对应，爬虫是如何获取信息的？
1、返回伪造信息
这真的是程序员为什么困扰程序员？反爬虫工程师也很辛苦。一方面，他们防止真实数据被大规模捕获，另一方面，他们也增加了后期数据处理的负担。如果数据被伪造得很好，也许你真的不容易发现你爬的是假数据，当然只能靠后期清理。
2、IP限制
限制IP也是很多网站反爬虫的初衷。有些人随便写一个循环就开始暴力抓取，真的会给网站服务器带来很大的负担。这种频繁的访问显然不是真正的用户行为，而是干脆果断的封你。
在这种情况下，你可以遵守规则，减慢你的爬行速度，每次停止爬行几秒钟。如果爬行的数据量不大，它实际上不会浪费太多时间。无论如何，你也可以利用这段时间做其他事情或考试。
当然，你也可以通过不断更换IP来绕过这一限制，网上有很多免费的IP资源，你可以自己建立一个IP池，爬到一定数量就可以切换IP。
3、减少返回信息
隐藏最基本的真实数据，只有不断加载才能刷新信息。还有就是变态，会只给你看一部分信息，人看不见，爬虫也无能为力。比如CNKI，你每次搜索都可以获得非常有限的内容。看起来没什么好的解决办法，但是这样做的网站毕竟是少数，因为这样做，实际上牺牲了一些真实用户的体验。
4、动态加载
异步加载一方面是为了反爬虫，另一方面也可以给网页浏览带来不同的体验，实现更多的功能。很多动态网站都是通过ajax或者JavaScript加载所需的网页。
当遇到动态加载网页时，需要分析ajax请求，一般可以直接找到包含我们需要的json文件。
如果网站加密文件，可以通过selenium+phantomJS框架调用浏览器核心，使用phantomJS执行js，模拟手动操作，触发页面中的js脚本。理论上，selenium是一个相对全面的爬虫方案，因为它确实是一种用户行为。除非网站的反爬虫严格，否则最好误杀。
许多工作需要获取大量的信息，并进行数据分析挖掘，但靠人工的速度实在是太慢了，而且大量的数据分析，结果更加可靠，因此各行业都离不开爬虫来抓取数据。面对这些反爬虫，爬虫也只能不断地寻找突破的方法。比如IP限制，就是利用代理IP进行突破，极光HTTP代理可以为爬虫提供大量的IP资源进行突破。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/1369/viewspace-2830233/ ，如需转载，请注明出处，否则将追究法律责任。
