ITPub博客

首页 > IT职业 > IT职场 > 干货|Python爬虫如何设置代理IP

干货|Python爬虫如何设置代理IP

原创 IT职场 作者:li_zhi521 时间:2018-11-13 14:26:21 0 删除 编辑

在学习Python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,这里讲述一个爬虫技巧,设置代理IP。

配置环境

  • 安装requests库

  • 安装bs4库

  • 安装lxml库

具体代码

            

函数get_ip_list(url, headers)传入url和headers,最后返回一个IP列表,列表的元素类似122.114.31.177:808格式,这个列表包括国内髙匿代理IP网站首页所有IP地址和端口。

函数get_random_ip(ip_list)传入第一个函数得到的列表,返回一个随机的proxies,这个proxies可以传入到requests的get方法中,这样就可以做到每次运行都使用不同的IP访问被爬取的网站,有效地避免了真实IP被封的风险。

proxies的格式是一个字典:{‘http’: ‘‘},可以将下面的执行也封装为方法。

代理IP的使用

运行上面的代码会得到一个随机的proxies,把它直接传入requests的get方法中即可

       


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31561225/viewspace-2219771/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-11-07

  • 博文量
    23
  • 访问量
    29835