1、爬虫程序开发

一般来说，有必要开发两个项目，后台管理界面和爬虫程序。

这两个程序共同链接一个数据库。

配置讲究的动态，既然是追加删除站点列表，也有追加或减少某个站点存储的属性，就必须2、明确该模块需要配置

（1）共用模块就封装起来

调度模块

下载

存储

（2）需要配置的模块

解析模块

2、实现步骤

数据库建设

数据源表编号，url ，开始时间，时间间隔

解析规则表（编号，外键数据源表，解析网站结构规则，存储的属性字段规则）

以上就是对爬虫程序进行配置的方法，可以先对开发中需要用到的项目进行了解，然后在进行具体的配置实践。爬虫使用时经常会用到代理ip，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，无限调用IP量！更多常见问题解决：ip

推荐作环境：windows7系统、Python 3.9.1，DELL G3电脑。

ITPub博客

如何对爬虫程序进行配置