一、网络爬虫

　　网络爬虫又被称为网络蜘蛛，我们可以把互联网想象成一个蜘蛛网，每一个网站都是一个节点，我们可以使用一只蜘蛛去各个网页抓取我们想要的资源。举一个最简单的例子，你在百度和谷歌中输入‘Python'，会有大量和Python相关的网页被检索出来，百度和谷歌是如何从海量的网页中检索出你想要的资源，他们靠的就是派出大量蜘蛛去网页上爬取，检索关键字，建立索引数据库，经过复杂的排序算法，结果按照搜索关键字相关度的高低展现给你。

　　二、Python如何访问互联网

　　想要写网络爬虫，第一步是访问互联网，Python如何访问互联网呢？

　　在Python中，我们使用urllib包访问互联网。（在Python3中，对这个模块做了比较大的调整，以前有urllib和urllib2,在3中对这两个模块做了统一合并，称为urllib包。包下面包含了四个模块，urllib.request，urllib.error，urllib.parse，urllib.robotparser），目前主要使用的是urllib.request。

　　我们首先举一个最简单的例子，如何获取获取网页的源码：

　　import urllib.request

　　response = urllib.request.urlopen('https://docs.python.org/3/')

　　html = response.read()

　　print(html.decode('utf-8'))

　　三、Python网络简单使用

　　首先我们用两个小demo练一下手，一个是使用python代码下载一张图片到本地，另一个是调用有道翻译写一个翻译小软件。

　　代码如下：

　　复制代码

　　import urllib.request

　　response = urllib.request.urlopen('http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg')

　　image = response.read()

　　with open('123.jpg','wb') as f:

　　f.write(image)

　　复制代码

　　其中response是一个对象

　　输入：response.geturl()

　　->'http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg'

　　输入：response.info()

　　-><http.client.HTTPMessage object at 0x10591c0b8>

　　输入：print(response.info())

　　->Content-Type: text/html

　　Last-Modified: Mon, 27 Sep 2004 01:23:20 GMT

　　Accept-Ranges: bytes

　　ETag: "0f4b59230a4c41:0"

　　Server: Microsoft-IIS/8.0

　　Date: Sun, 14 Aug 2016 07:16:01 GMT

　　Connection: close

　　Content-Length: 2827

　　输入：response.getcode()

　　->200

　　四、规避风险

　　服务器检测出请求不是来自浏览器，可能会屏蔽掉请求，服务器判断的依据是使用‘User-Agent',我们可以修改改字段的值，来隐藏自己。代码如下：

　　View Code

　　上述做法虽然可以隐藏自己，但是还有很大问题，例如一个网络爬虫下载图片软件，在短时间内大量下载图片，服务器可以可以根据IP访问次数判断是否是正常访问。所有上述做法还有很大的问题。我们可以通过两种做法解决办法，一是使用延迟，例如5秒内访问一次。另一种办法是使用代理。

　　延迟访问（休眠5秒，缺点是访问效率低下）：

　　View Code

　　代理访问：让代理访问资源，然后讲访问到的资源返回。服务器看到的是代理的IP地址，不是自己地址，服务器就没有办法对你做限制。

　　步骤：

　　1，参数是一个字典｛'类型' : '代理IP：端口号' ｝ //类型是http,https等

　　proxy_support = urllib.request.ProxyHandler({})

　　2，定制、创建一个opener

　　opener = urllib.request.build_opener(proxy_support)

　　3，安装opener(永久安装，一劳永逸)

　　urllib.request.install_opener(opener)

　　3，调用opener（调用的时候使用）

　　opener.open(url)

　　五、批量下载网络图片

　　图片下载来源为煎蛋网（http://jandan.net)

　　图片下载的关键是找到图片的规律，如找到当前页，每一页的图片链接，然后使用循环下载图片。下面是程序代码（待优化,正则表达式匹配，IP代理）：

　　复制代码

　　import urllib.request

　　import os

　　def url_open(url):

　　req = urllib.request.Request(url)

　　req.add_header('User-Agent','Mozilla/5.0')

　　response = urllib.request.urlopen(req)

　　html = response.read()

　　return html

　　def get_page(url):

　　html = url_open(url).decode('utf-8')

　　a = html.find('current-comment-page') + 23

　　b = html.find(']',a)

　　return html[a:b]

　　def find_image(url):

　　html = url_open(url).decode('utf-8')

　　image_addrs = []

　　a = html.find('img src=')

　　while a != -1:

　　b = html.find('.jpg',a,a + 150)

　　if b != -1:

　　image_addrs.append(html[a+9:b+4])

　　else:

　　b = a + 9

　　a = html.find('img src=',b)

　　for each in image_addrs:

　　print(each)

　　return image_addrs

　　def save_image(folder,image_addrs):

　　for each in image_addrs:

　　filename = each.split('/')[-1]

　　with open(filename,'wb') as f:

　　img = url_open(each)

　　f.write(img)

　　def download_girls(folder = 'girlimage',pages = 20):

　　os.mkdir(folder)

　　os.chdir(folder)

　　url = 'http://jandan.net/ooxx/'

　　page_num = int(get_page(url))

　　for i in range(pages):

　　page_num -= i

　　page_url = url + 'page-' + str(page_num) + '#comments'

　　image_addrs = find_image(page_url)

　　save_image(folder,image_addrs)

　　if __name__ == '__main__':

　　download_girls()

      小伙伴们，以上是我学Python一个月后的小总结，大家也可以试试哦。