### 1.Beautiful Soup模块的介绍

*   Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库，简单来说，它能将HTML的标签文件解析成树形结构，然后方便地获取到指定标签的对应属性，还可以方便的实现全站点的内容爬取和解析；

*   Beautiful Soup支持Python标准库中的HTML解析器，还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器；
lxml 是python的一个解析库，支持HTML和XML的解析，html5lib解析器能够以浏览器的方式解析，且生成HTML5文档；

```
pip install beautifulsoup4
pip install html5lib
pip install lxml
```

### 2. Beautiful Soup模块解析HTML文档
假如现在有一段不完整的HTML代码，我们现在要使用Beautiful Soup模块来解析这段HTML代码

```
data = ''' 
<html><head><title>The Dormouse's story</title></he
<body> 
The Dormouse's story 
Once upon a time there were three 
<a href="http://example.com/elsie" class="sister" i
<a href="http://example.com/lacie" class="sister" i
<a href="http://example.com/tillie" class="sister" 
and they lived at the bottom of a well. 
... 
''' 
```

*   首先需要导入BeautifulSoup模块，再实例化BeautifulSoup对象

```
from bs4 import BeautifulSoup           
soup = BeautifulSoup(data,'lxml')
```

然后通过BeautifulSoup提供的方法就可以拿到HTML的元素、属性、链接、文本等，BeautifulSoup模块可以将不完整的HTML文档，格式化为完整的HTML文档 ，比如我们打印`print(soup.prettify())`看一下输出什么？

``` 
<html>
 <head>
 <title>
 The Dormouse's story
 </title>
 </head>
 <body>
 
 
 The Dormouse's story
 
 
 
 Once upon a time there were three
 <a a="" and="" at="" bottom="" class="sister" href="http://example.com/elsie" i="" lived="" of="" the="" they="" well.="">
 
 ...
 
 </a>
 
 </body>
</html>
```

*  获取标签，如title标签，a标签等

```
print('title = {}'.format(soup.title)) 
# 输出：title = <title>The Dormouse's story</title>

print('a={}'.format(soup.a))
```

*  获取标签的名称，如title标签，body标签等

```
print('title_name = {}'.format(soup.title.name))
# 输出：title_name = title

print('body_name = {}'.format(soup.body.name))
# 输出：body_name = body
```

*   获取标签的内容，如title标签

```
print('title_string = {}'.format(soup.title.string))
#  输出：title_string = The Dormouse's story
```

-  如果想要获取某个标签的父标签的名称，可以使用parent，如title标签，可以得到父标签head标签，且会自定补齐不完整的标签；

```
print('title_pareat_name = {}'.format(soup.title.parent))
# 输出：title_pareat_name = <head><title>The Dormouse's story</title>
</head>
```

-  获取第一个p标签

```
print('p = {}'.format(soup.p))

# 输出：p = The Dormouse's story
```

-  获取第一个p标签的class的值，获取第一个a标签的class值

```
print('p_class = {}'.format(soup.p["class"]))
# 输出：p_class = ['title']

print('a_class = {}'.format(soup.a["class"]))
# 输出：a_class = ['sister']
```

-   获取所有的标签

```
#  获取所有的a标签
print('a = {}'.format(soup.find_all('a')))

#  获取所有的p标签  
print('p = {}'.format(soup.find_all('p')))
```

*  获取id为link3的标签

```
print('a_link = {}'.format(soup.find(id='title')))

# 输出：a_link = The Dormouse's story
```

### 3.BeautifulSoup中的对象

*   BeautifulSoup对象分为四类，分别是`Tag(获取标签)`, `NavigableString(获取标签内容)` , `BeautifulSoup(根标签)`, `Comment(标签内的所有的文本)` ；

语法：
*   `soup.标签名`：获取HTML中的标签；

*   `soup.标签名.name`：获取HTML中标签的名称；

*   `soup.标签名.attrs`：获取标签的所有属性；

*   `soup.标签名.string`：获取HTML中标签的文本内容；

*   `soup.标签名.parent`：获取HTML中标签的父标签；

*   `prettify()方法`：可以将Beautiful Soup的文档树格式化后以Unicode编码输出，每个XML/HTML标签都独占一行；

### 4.遍历文档

*   `contents`：获取所有子节点，返回一个列表，可以通过下标取值；

```
soup = BeautifulSoup(html,"lxml")

# 返回一个列表
print(soup.p.contents)
# 拿到第一个子节点
print(soup.p.contents[0])
```

*   `children`：返回子节点的生成器对象；

```
for tag in soup.p.children:
    print(tag)
```

*   `soup.strings`：获取所有节点的内容，包括空格；

```
soup = BeautifulSoup(html,"lxml")
for content in soup.strings:
    print(repr(content))
```

*   `soup.stripped_strings`：获取所有节点的内容，不包括空格；

```
soup = BeautifulSoup(html,"lxml")
for tag in soup.stripped_strings:
    print(repr(tag))
```

### 5.查找标签

*   `find_all()`：查找所有指定标签名称的子节点（可同时查找多个标签），并判断是否符合过滤器的条件，返回一个列表；

```
soup = BeautifulSoup(html,"lxml")
print(soup.find_all('a'))
print(soup.find_all(['a','p']))
print(soup.find_all(re.compile('^a')))
```

*   `find()`：和find_all()差不多，但是find_all() 方法的返回结果是值包含一个元素的列表，而 find() 方法直接返回结果；

```
soup = BeautifulSoup(html,"lxml")
print(soup.find('a'))
```

*   更多关于Beautiful Soup模块的知识可以查看：[https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html](https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html)

参考：[https://www.9xkd.com/user/plan-view.html?id=1742870460](https://www.9xkd.com/user/plan-view.html?id=1742870460)

ITPub博客

Beautiful Soup模块使用

最新文章