ITPub博客

想查数据就免不了搜索，搜索就离不开搜索引擎，百度、谷歌都是一个非常庞大复杂的搜索引擎，他们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说，肯定就没必要用这么复杂的技术了，如果我们想实现自己的搜索引擎，方便存储和检索，Elasticsearch 就是不二选择，它是一个全文搜索引擎，可以快速地储存、搜索和分析海量数据。

当今大数据的时代，网络爬虫已经成为了获取数据的一个重要手段。

在很多情况下，我们可能想要在网页中自动执行某些代码，帮助我们完成一些操作。如自动抢票、自动刷单、自动爬虫等等，这些操作绝大部分都是借助 JavaScript 来实现的。那么问题来了？在浏览器里面怎样才能方便地执行我们所期望执行的 JavaScript 代码呢？在这里推荐一个插件，叫做 Tampermonkey。这个插件的功能非常强大，利用它我们几乎可以在网页中执行任何 JavaScript 代码，实现我们想要的功能。

4000 万开发者在 365 天里能做什么？

前段时间我更新了我的分布式爬虫管理框架—— Gerapy，现在 DevOps 的理念可谓是相当火，其中 CI/CD（持续集成、持续部署）是必不可少的环节。有了它们，我们开发完软件之后，一些测试、构建、部署的环节就可以自动化完成了。

vczh，本名陈梓瀚，因知乎的个人信息介绍上写有“专业造轮子”，所以江湖人称“轮子哥”。vczh 大学时代就在微软实习，毕业后即加入微软。开始时是在微软上海，后来进入北京的微软亚洲研究院。现已移居美国西雅图，在 Office 组做工程师。

今天逛 GitHub 发现了一个开源项目，叫做 KnowledgeGraphData，号称是史上规模最大的中文知识图谱，有 1.4 亿条数据。

​舆情爬虫是网络爬虫一个比较重要的分支，舆情爬虫往往需要爬虫工程师爬取几百几千个新闻站点。比如一个新闻页面我们需要爬取其标题、正文、时间、作者等信息，如果用传统的方式来实现，每一个站点都要配置非常多的规则，如果要维护一个几百上千的站点，那人力成本简直太高了。