1、User-Agent反爬虫
User-Agent是请求领域之一，服务器从User-Agent对应的值中识别客户端的使用信息。User-Agent的作用是客户端的身份识别。服务器可以根据黑名单和条件判断，实现有针对性的反爬虫。
2、Cookie反爬虫
Cookie反爬虫是指服务器端通过检查请求头部的Cookie值来区分正常用户和爬虫程序的方法，也可以将Cookie和JavaScript结合起来，实现反爬虫，从而提高爬虫的难度，这一方法在网络应用中得到了广泛的应用。
3、签名验证反爬虫
签名是一个根据数据源计算或加密的过程，签名的结果是一个唯一一致的字符串。签名结果的特点使其成为验证数据源和数据完整性的条件，可以有效避免服务器将伪造的数据或被篡改的数据作为正常数据处理。
4、webSocket握手验证反爬虫
握手时使用的协议是HTTP协议，所有基于HTTP协议的反爬虫都可以用于WebSocket协议。
5、webSocket信息检查反爬虫
如果握手验证成功，双端可以开始推送信息。WebSocket只需要握手一次，就可以保持长期连接。
事实上，信息互发阶段也可以对客户端身份进行校验，这是因为客户端获得的信息是由服务器端主动推送的，如果服务器端没有主动推送，那么客户端就不能获得信息。可在服务器端增加一种校验逻辑：握手后，客户端发送特定信息，服务器端对此信息进行校验，校验通过后，将服务器端的数据推送给客户端，否则将不予处理。
以上就是防爬虫的操作，能够对一些恶意刷取网页数据的爬虫有所阻拦，是保护网站安全性必不缺少的步骤。不过爬虫还是有很多有利于我们的一面，在使用爬虫时结合代理ip是不错的选择，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，无限调用IP量。更多常见问题解决：ip
（推荐操作系统：windows7系统、Python 3.9.1、DELL G3电脑。）
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/3050/viewspace-2829689/ ，如需转载，请注明出处，否则将追究法律责任。
