王大锤学编程 

经过python的初步学习，对字符串、列表、字典、元祖、条件语句、循环语句……等概念应该已经有了整体印象，终于可以着手做一些小练习来巩固知识点，写爬虫练习再适合不过。

1. HTML基础

因为爬虫的本质就是从网页中获取所需的信息，所以对网页的知识还是要有一点了解。百度百科对HTML的定义：HTML，超文本标记语言，是一种标识性的语言。它包括一系列标签．通过这些标签可以将网络上的文档格式统一，使分散的Internet资源连接为一个逻辑整体。HTML文本是由HTML命令组成的描述性文本，HTML命令可以说明文字，图形、动画、声音、表格、链接等。

当然，网页并不仅仅只有ＨTML，它只能实现静态效果，我们经常看到的网页都还有有美化样式的CSS和实现动态效果的JavaScipt。写爬虫入门练习就只关注HTML吧，其他先不用管。HTML以树的结构，存储各种标记，就像这样：

网页构成

右侧的网页就是由左侧的HTML代码实现的

2. 爬虫流程

入门阶段只关注前三步

3. 安装requests和BeautifulSoup库

使用pip安装方式：

pip install requests

pip install BeautifulSoup4

requests基本用法

requests库有七个主要方法，最常用的就是requests.get()和requests.post()方法，入门阶段只关注requests.get()方法。

BeautifulSoup基本用法

可以先了解soup.find()和soup.find_all()函数用法，其他先不用管。

具体参考BeautifulSoup官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/

4.爬取酷狗TOP500曲目练习

#导入requests和BeautifulSoup库

import requests

from bs4 import BeautifulSoup

#搜狗TOP500曲目链接

url = "http://www.kugou.com/yy/rank/home/1-8888.html"

#获取所有网页信息

response = requests.get(url)

#利用.text方法提取响应的文本信息

html = r.text

#利用BS库对网页进行解析，得到解析对象soup

soup =BeautifulSoup(html,'html.parser')

只获取曲目名称

利用谷歌浏览器吧鼠标放在歌名上，右击选择“检查”，很容易找到需要爬取信息的特征：

看到花花绿绿的HTML代码别害怕，一个一个点，直到找到需要的信息就行了，可以看到所有歌名都是在这样

之下的，每一个这样的标签就代表一首歌名的代码。继续写如下代码：

#解析出歌名，find_all（）函数返回的是tag的列表

names = soup.find_all('a',class_='pc_temp_songname')

# 打印names

print(names)

……

#利用for循环遍历出name,再利用get_text()方法获取标签中的文本数据

for name in names:

print(name.get_text())

到这里一个mini爬虫练习就结束了。完整代码如下：

import requests

from bs4 import BeautifulSoup

url = "http://www.kugou.com/yy/rank/home/1-8888.html"

r = requests.get(url)

html = r.text

soup =BeautifulSoup(html,'html.parser')

names = soup.find_all('a',class_='pc_temp_songname')

for name in names:

print(name.get_text())

总共不到十行代码，很容易上手，在了解基础的requests和BeautifulSoup使用之后像豆瓣等这样简单的静态网站就都可以去爬了。