对爬虫用户而言，网站的反爬行机制可以说是其头号敌人。反爬机制是一种防止爬虫爬取数据过于频繁，给服务器造成负担过重，导致服务器崩溃的机制。其实有几种不同的方式。
1、爬虫的识别基于UA机制
一个UA的全名是UserAgent，是一个请求浏览器的标识，许多网站都用它来标识爬行程序。在没有UA的情况下，访问请求的头部被判定为爬虫，但这个反爬虫机制非常简单。
随机生成UA，因此很少使用这种反爬机制。
2、根据存取次数确定爬行程序
爬虫为保证工作效率，通常会在短时间内对目标站点进行多次访问，因此可以根据单个IP访问的次数来判断爬虫是否爬过。此外，这种反爬机制难以将其反爬机制反制，只能通过更换代理IP来保证效率。在提供稳定的IP地址的同时，极光HTTP注重对用户隐私的保护，保证用户信息安全。
3、使用Cookie和Authenticode识别爬虫
cookie是指会员帐号密码登录验证，可以根据单个帐号的抓取次数限制抓取次数，验证码是完全随机的，爬虫脚本不能正确识别，爬虫程序也可以被限制。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/1354/viewspace-2828683/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
聊聊Angular中的单元测试
下一篇：
php变量有哪些特殊类型
请登录后发表评论
登录
全部评论
