ITPub博客

首页 > 应用开发 > Python > (转载)分享一个很“水”的Python代码分析

(转载)分享一个很“水”的Python代码分析

Python 作者:python交流 时间:2019-03-15 16:06:27 0 删除 编辑

原文: Github
最近在Github上看见一段详细的代码分析,感觉挺有用,大家可以参考一下,也可以学习学习。

# _ * _编码:UTF-8 _ * _
“””xianhu的python_spider.py“””
导入请求import urllib.errorimport urllib.parseimport urllib.request导入 http.cookiejar

第一段

#首先定义下边可能需要的变量
url =  “ ”headers = { “ User-Agent ”:“ Mozilla / 4.0(兼容; MSIE 5.5; Windows NT)” }
#最简单的网页抓取方式
response = urllib.request.urlopen(url,timeout = 10)
html = response.read()。decode(“ utf-8 ”)
#使用请求实例代替网址
request = urllib.request.Request(url,data = None,headers = {})
response = urllib.request.urlopen(request,timeout = 10)

看个人资料,有Python资料

第二段

#发送数据,即在请求()中添加数据参数
data = urllib.parse.urlencode({ “ act ”:“ login ”,“ email ”:“ xianhu@qq.com ”,“ password ”:“ 123456 ” })
request1 = urllib.request.Request(URL,数据=数据)            # POST方法
请求2 = urllib.request.Request(URL + “?%S ” %数据)          # GET方法
response = urllib.request.urlopen(request,timeout = 10)
#发送报头,即在请求()中添加报头参数
request = urllib.request.Request(url,data = data,headers = headers)    #参数中添加header参数
request.add_header(“ Referer ”,“ ”)                #另一种添加header的方式,添加Referer是为了应对“反盗链”response = urllib.request.urlopen(request,timeout = 10)

第三段

#网页抓取引发异常:urllib.error.HTTPError,urllib.error.URLError,两者存在继承关系
尝试:
    urllib.request.urlopen(request,timeout = 10)
除了 urllib.error.HTTPError 为 e:
    打印(e.code,e.reason)
除了 urllib.error.URLError 为 e:
    打印(e.errno,e.reason)
#使用代理,以防止IP被封或IP次数受限:
proxy_handler = urllib.request.ProxyHandler(proxies = { “ http ”:“ 111.123.76.12:8080 ” })
opener = urllib.request.build_opener(proxy_handler)      #利用代理创建opener实例
响应= opener.open(URL)                             #直接利用开启器实例打开URL
urllib.request.install_opener(opener)                    #安装全局opener,然后利用urlopen打开网址
response = urllib.request.urlopen(url)

第四段

#使用饼干和cookiejar,应对服务器检查
cookie_jar = http.cookiejar.CookieJar()
cookie_jar_handler = urllib.request.HTTPCookieProcessor(cookiejar = cookie_jar)
opener = urllib.request.build_opener(cookie_jar_handler)
response = opener.open(url)
#发送在浏览器中获取的饼干,两种方式:
#(1)直接放到headers里
headers = {
    “ User-Agent ”: “ Mozilla / 4.0(兼容; MSIE 5.5; Windows NT)”,
    “ Cookie ”: “ PHPSESSID = btqkg9amjrtoeev8coq0m78396; USERINFO = n6nxTHTY%2BJA39z6CpNB4eKN8f0KsYLjAQTwPe%2BhLHLruEbjaeh4ulhWAS5RysUM%2B; ”
}
request = urllib.request.Request(url,headers = headers)
#(2)构建cookie,添加到cookiejar中
cookie = http.cookiejar.Cookie(name = “ xx ”,value = “ xx ”,domain = “ xx ”,...)
cookie_jar.set_cookie(饼干)
response = opener.open(url)
#同时使用代理和cookiejar
opener = urllib.request.build_opener(cookie_jar_handler)
opener.add_handler(proxy_handler)
response = opener.open(“ ”)#抓取网页中的图片:同样适用于抓取网络上的文件右击鼠标,找到图片属性中的地址,然后进行保存。
response = urllib.request.urlopen(“ ”,超时= 120)使用 open(“ test.jpg ”,“ wb ”)作为 file_img:
    file_img.write(response.read())
# HTTP认证:即HTTP身份验证
password_mgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()      #创建一个PasswordMgr
password_mgr.add_password(realm = None,uri = url,user = ' username ',passwd = ' password ')    #添加用户名和密码
handler = urllib.request.HTTPBasicAuthHandler(password_mgr)          #创建HTTPBasicAuthHandler
opener = urllib.request.build_opener(handler)                        #创建opner
response = opener.open(url,timeout = 10)                              #获取数据
#使用套接字代理
进口袜子
导入套接字
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5,“ 127.0.0.1 ”,1080)
socket.socket = socks.socksocket
requests.get(“ ”)


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69912078/viewspace-2638497/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
上路:9458 中路:79 下来025 有干货

注册时间:2019-03-04

  • 博文量
    188
  • 访问量
    236806