1、WebMagic
WebMagic是开源Java垂直爬虫框架，目标是简化爬虫的开发过程，让开发者专注于逻辑功能的开发。WebMagic采用完全模块化的设计，涵盖爬虫的整个生命周期(链接提取、页面下载、内容提取、持久性)，支持多线程、分布式、自动重试、自定义UA/cookie等功能。
2、DenseSpider
Go语言实现的高性能爬虫是基于go_spider开发的。实现了单机并发收集、深度日历、定制深度等特性。基于Go语言的并发收集；网页下载，分析，持久模块化，可定制扩展；收集日志记录(Mongodb支持)。
3、Octoparse
Octoparse是一款免费且功能强大的网站爬虫工具，可用于从网站上提取所需的各种数据。学习模式有两种——向导模式和先进模式，非程序员也可以使用。几乎所有的网站内容都可以下载并保存为结构格式，如EXCEL、TXT、HTML或数据库。它有ScheduledCloudExtraction功能，可以获得网站的最新信息。提供IP代理服务器，不用担心被侵略性网站检测到。
以上就是爬虫工具的介绍，通过这些工具，我们能够快速的采集数据，并能节约大量的搜索时间。在使用爬虫工具时还可以使用爬虫代理ip，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，无限调用IP量！更多常见问题解决：ip
（推荐操作系统：windows7系统、Python 3.9.1、DELL G3电脑。）
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/2203/viewspace-2829771/ ，如需转载，请注明出处，否则将追究法律责任。
