全部博文
-
编辑 删除
Nutch加Hadoop集群搭建
1、Apache Nutch Apache Nutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。 1.1、Nutch的组件结构 WebDB:存储网页数据和连接信息 Fetch lists:将WebDB所存储的连接分成多个组，来用于分布式检索 Fetchers:检索Fetch list中的内容并下载到本地，共有两项输出：分别是连接的update 信息和内容content Updates:更新WebDB的页面检索状态 WebDB、updates、fetch lists和fetchers组成循环结构，不断运行下去，来确保所得到的Web镜像是最新的 Content:界面内容，获取
