（1）爬虫调度器主要配合调用其他四个模块。所谓调度，就是调用其他模板。

（2）URL管理器负责管理URL链接。URL链接分为爬行链接和未爬行链接，需要URL管理器来管理。同时，它还为获取新的URL链接提供了接口。

（3）HTML下载器是下载要抓取的页面的HTML。

（4）HTML解析器是从HTML源代码中获取爬行的数据，同时向URL管理器发送新的URL链接，并向数据存储器发送处理后的数据。

（5）数据存储器是将HTML下载器发送的数据存储在本地。

在编写python爬虫程序时，只需要做以下两件事：

发送GET请求，获取HTML

解析HTML，获取数据

3、使用ip代理

使用Python爬虫时，经常会遇到有反爬机制的网站。我们可以通过伪装headers爬行，但网站仍然可以获得您的ip，从而禁止您的ip爬行信息。

以上就是使用python爬虫需要的准备工作，在正式爬取数据之前，我们可以先找一些优质的ip代理服务，让爬虫更好的工作，希望对大家有所帮助。更多常见问题解决：爬虫

（推荐操作系统：windows7系统、Python 3.9.1，DELL G3电脑。）

ITPub博客

python爬虫需要哪些