ITPub博客

首页 > IT职业 > IT职场 > Python urllib2 使用

Python urllib2 使用

IT职场 作者:qyqy0139 时间:2021-09-09 09:14:52 0 删除 编辑
简介

urllib2 是python的一个用于发起http请求的库,常用于请求html网页内容。

使用
#! -*- encoding:utf-8 -*-
import urllib2 #导入urllib2库文件
import cookielib
url = ''
# 第一种用法
#发起http请求
response1 = urlib2.urlopen(url)

#获取response响应code
code1 = response1.getcode();

#读取获取的内容
content = response.read()

#第二种用法
request = urlib2.Request(url)
request.add_header(
'user-agent':'Mozilla/5.0'
)
response2 = request.urlopen(request)

code2 = response2.getcode();

content2 = response2.read();

#第三种用法
cj = cookielib.CookieJar()

opener  = urlib2.build_opener(urllib2.HTTPCookieProcessor(cj))

urlib2.install_opener(opener)

response3 = urlib2.urlopen(url)

code3 = response3.getcode();

content3 = response3.read()

第三种用handler的方式比较难以理解,但是功能强大,下面理出常用的几种handler:

  1. urllib2.HTTPHandler() 通过HTTP打开URL
  2. urllib2.CacheFTPHandler() 具有持久FTP连接的FTP处理程序
  3. urllib2.FileHandler() 打开本地文件
  4. urllib2.FTPHandler() 通过FTP打开URL
  5. urllib2.HTTPBasicAuthHandler() 通过HTTP验证处理
  6. urllib2.HTTPCookieProcessor() 处理HTTP cookie
    urllib2.HTTPDefaultErrorHandler() 通过引发HTTPError异常处
    理HTTP错误
  7. urllib2.HTTPDigestAuthHandler() HTTP摘要验证处理
  8. urllib2.HTTPRedirectHandler() 处理HTTP重定向
  9. urllib2.HTTPSHandler() 通过安全HTTP重定向
  10. urllib2.ProxyHandler() 通过代理重定向请求
  11. urllib2.ProxyBasicAuthHandler 基本的代理验证
  12. urllib2.ProxyDigestAuthHandler 摘要代理验证
    urllib2.UnknownHandler 处理所有未知URL的处理程序

目前由于初学python,对与urllib2的掌握就这么多,等待更深入的学习之后再做更新

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/1350/viewspace-2808977/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-04-15

  • 博文量
    84
  • 访问量
    971