ITPub博客

首页 > IT职业 > IT职场 > python user-agent如何反爬虫

python user-agent如何反爬虫

IT职场 作者:hmjie 时间:2021-09-11 09:52:20 0 删除 编辑

说明

1、是识别浏览器的一串字符串,相当于浏览器的身份证。

2、在利用爬虫爬取网站数据时,频繁更换User-agent可以避免触发相应的反爬机制。

安装

需要就用到了fake-useragent包,直接在anaconda控制台安装fake-useragent包即可;

实例

form fake-useragent import UserAgent
 
ua = UserAgent()
headers = {
    'User-Agent' : ua.random #随机生成一个UserAgent
}
url = 'https://www.baidu.com/'
page = requests.get(url, headers=headers)

以上就是python user-agent反爬虫的方法,希望对大家有所帮助。更多Python学习指路:python基础教程

本文教程操作环境:windows7系统、Python 3.9.1,DELL G3电脑。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/1512/viewspace-2829468/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-04-15

  • 博文量
    93
  • 访问量
    674