ITPub博客

首页 > 大数据 > 数据分析 > 网页数据采集:八爪鱼采集器图文攻略

网页数据采集:八爪鱼采集器图文攻略

数据分析 作者:3G手机 时间:2013-11-20 13:46:00 0 删除 编辑

电脑软件

名称: 八爪鱼采集器  
大小:20MB|版本:1.0|类别:应用工具|语言:中文
应用平台:windows

从网页上采集数据一般来说有几个常见的方式,手动复制:适合少量数据采集;开发软件:适合有技术研发实力和资源的大公司,使用采集器:适合需要采集大量数据的中小客户,先搞清楚自己需要的是什么类型的数据,然后看看自己适合用什么途径来做,如果确定适合用采集器,那就要花点时间来研究如何使用,长话短话,一起来看看如何使用八爪鱼采集器采集网页数据。

  1. 新建一个采集任务,如果要采集某一个网站的某一类数据,其实就是配置一个任务,当执行这个任务的时候就会按照设定采集相应的数据。

  2. 设置采集任务的基本信息,基本信息主要是一个任务分组,用来管理多个任务,方便使用,另外就是任务的名字,然后还有备注信息,方便记录任务的一些描述,这些信息在任务比较多的时候就很有用了。

  3. 最关键的一步,设定采集流程,这一步是最重要的一步,按照需要的采集顺序,把采集这个事情分成几个步骤,然后每个步骤对应一个采集动作,组合起来就形成了采集步骤,如果所示,就是采集一个页面的流程,先打开这个页面,然后提取这个页面上的数据。

  4. 配置执行计划,有些数据是要每天都采集一次的,有些则一天采集多次的,所以不同任务就设定不同的计划,这个任务是不需要定时执行的,所以就选择手动,然后保存执行计划

  5. 至此,基本配置就算完成了,接下来要做的就是测试一下流程是否正确,如果正确,就可以启动任务,采集数据了,如果不正确,再回头去修改各个步骤的配置有问题的地方,再继续测试,最终测试完成后即可采集。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/21452730/viewspace-1110499/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-04-22