banner82(2).png

早期的爬虫过去是用C/C++来做的，但是比较繁琐，后来人们开始大量使用Java，Python这两种设计良好的脚本语言，因为这两种语言最适合爬虫使用。

高性能网络爬虫最重要的部分是（许多）并行实例的同步，在多台机器上运行。

一个非常粗略的经验法则是饱和 10Mbps 连接的单台机器性能良好，大型搜索引擎运行着数百个，每个爬虫的基本功能都非常简单，几乎微不足道，因为它包括获取页面和从中提取链接。

由于多个实例并行运行，主要挑战是实时检测重复项，因为绝对不希望多次点击目标页面，并在所有这些实例中实时遵守 robots.txt 约束。

所有这一切都相当棘手，因为跨实例的时序具有不确定性和不可预测性，因此必须进行大量同步以确保每个站点都符合 robots.txt 约束。

因此在这方面，Java 等具有内置线程的语言非常适合。在 Vast.com 和 Wowd，我们都使用 Java 专门进行爬取。

重要的是不要将抓取与要进行一些提取/处理的抓取/包装器/网络客户端混淆。最后推荐一个爬虫必备的ip工具-太阳http，包含多种ip资源可用，适合爬虫采集，想要尝试可以点击链接注册领取试用。

ITPub博客

哪种编程语言最适合爬虫？