Golddata如何采集需要登录/会话的数据?
本文将介绍使用GoldData半自动登录功能,来采集需要登录网站的数据。GoldData半自动登录功能,就是指通过脚本来执行登录,如果需要验证码或者其它内容需要人工输入时,可以通过收发邮件来执行登录流程。
如何采集级联数据(比如最新省市县)呢?
通常抓取级联数数据情况不多,但要是真需要时,确多了一些麻烦,比如抓取商品分类级别信息等。本内容将讲述如何采集无限级联联数据,并以GoldData来抓取2019年最新的省市县三级为示例。
GoldData将采集数据融合到两张关联关系表
在上一期中,我们抓取了新闻数据,现在我们要通过GoldData融合到两张数据库表news_site和news表当中去。
GoldData学习实例-采集官网新闻数据
我们将讲述抓取官网地方 新闻。并将抓取的新闻数据融入到以下两张数据表news_site和news中。