首页 > IT职业 > IT职场 > python user-agent如何反爬虫

说明
1、是识别浏览器的一串字符串,相当于浏览器的身份证。
2、在利用爬虫爬取网站数据时,频繁更换User-agent可以避免触发相应的反爬机制。
安装
需要就用到了fake-useragent包,直接在anaconda控制台安装fake-useragent包即可;
实例
form fake-useragent import UserAgent
ua = UserAgent()
headers = {
'User-Agent' : ua.random #随机生成一个UserAgent
}
url = 'https://www.baidu.com/'
page = requests.get(url, headers=headers)
以上就是python user-agent反爬虫的方法,希望对大家有所帮助。更多Python学习指路:python基础教程
本文教程操作环境:windows7系统、Python 3.9.1,DELL G3电脑。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/1512/viewspace-2829468/ ,如需转载,请注明出处,否则将追究法律责任。