## 概述

![source1](https://oscimg.oschina.net/oscnet/8f361c57fa38edf8196244b651cb8ac7781.jpg "source1")

我们将讲述抓取官网地方 新闻。并将抓取的新闻数据融入到以下两张数据表news_site和news中。

**news_site（新闻来源）**

| 字段 | 类型 | 说明 |
| --- | --- | --- |
| id | bigint | 主键，自动增长 |
| name | varchar(128) | 来源名称 |

**news（新闻）**

| 字段 | 类型 | 说明 |
| --- | --- | --- |
| id | bigint | 主键，自动增长 |
| title | varchar（128) | 标题 |
| site_id | bigint | 外键，指向表news_site的id字段 |
| content | text | 内容 |
| pub_date | datetime | 发布时间 |
| date_created | datetime | 加入时间 |

我们很容易看到这两张表存在关联，那是怎样将数据写入关联呢，我们将再此一一介绍。

## 定义站点、数据集

![define_site](https://oscimg.oschina.net/oscnet/90fe13884355bcaa27dd14a0d1c0ef31d36.jpg "define_site")

![define_dataset](https://oscimg.oschina.net/oscnet/0f85a3bbdd59b5c70e8d5c359ce08dae036.jpg "define_dataset")

## 定义抓取和抽取规则

在这里我们需要填入口地址。入口地址如果有多个，那么要以英文逗号相隔。如下图所示：

![entry](https://oscimg.oschina.net/oscnet/ec890904f17f82da3ab58e30dfb5937e239.jpg "entry")

接下来我们编写规则时，首先是匹配URL，这里需要填写正则表达式。旁边的“？”号，点击后就会弹出相应的帮助文档。如下图所示：

![url_match](https://oscimg.oschina.net/oscnet/8dca0766604dfa1e4ad25b550a9c429dc8d.jpg "url_match")

然后数据集选择则我们要注意，如果抓取的仅需要的是链接，那么是否数据集选择否，且数据集字段必须要有一个名为href的字段。如下图所示：

![dataset_href](https://oscimg.oschina.net/oscnet/495ac03935df009ddcab4027448efd89968.jpg "dataset_href")

否则是否数据集应该选择是，且数据集字段必须要有一个名为sn的字段。sn字段存放的数据一般是唯一值，相当于数据表里的id字段。如下图所示：

![dataset_sn](https://oscimg.oschina.net/oscnet/0e7777a763a7bdc78b709a7afa8ede01e97.jpg "dataset_sn")

完整的规则内容显示如下：

```json
[
  {
    __sample: http://sousuo.gov.cn/column/40520/0.htm
    match0: http\:\/\/sousuo\.gov\.cn\/column\/40520/\d+\.htm
    fields0:
    {
      __model: false
      __node: .news_box a
      href:
      {
        expr: a
        attr: abs:href
        js: ""
        __label: 链接
        __showOnList: false
        __type: ""
        down: "0"
        accessPathJs: ""
        uploadConf: ""
      }
    }
  }
  {
    __sample: http://www.gov.cn/xinwen/2019-02/26/content_5368539.htm
    match0: http\:\/\/www\.gov\.cn/xinwen/2019-\d{2}/\d{2}/content_\d+.htm
    fields0:
    {
      __model: true
      __dataset: news
      __node: ".article "
      sn:
      {
        expr: ""
        attr: ""
        js:
          '''
          var xx=md5(baseUri)
          xx
          '''
        __label: 编号
        __showOnList: false
        __type: ""
        down: "0"
        accessPathJs: ""
        uploadConf: ""
      }
      title:
      {
        expr: .article >h1
        attr: ""
        js: ""
        __label: 标题
        __showOnList: true
        __type: ""
        down: "0"
        accessPathJs: ""
        uploadConf: ""
      }
      pubdate:
      {
        expr: .pages-date:matchText
        attr: ""
        js: ""
        __label: 发布时间
        __showOnList: false
        __type: ""
        down: "0"
        accessPathJs: ""
        uploadConf: ""
      }
      source:
      {
        expr: .pages-date > span.font:contains(来源)
        attr: ""
        js:
          '''
          var xx=source.replace("来源：",'');
          xx
          '''
        __label: 来源
        __showOnList: true
        __type: ""
        down: "0"
        accessPathJs: ""
        uploadConf: ""
      }
      content:
      {
        expr: .pages_content
        attr: ""
        js: ""
        __label: 新闻内容
        __showOnList: false
        __type: ""
        down: "0"
        accessPathJs: ""
        uploadConf: ""
      }
    }
  }
]

```

## 配制和启动抓取器

![config_spider](https://oscimg.oschina.net/oscnet/96627614189a8cd66d349731464401583f4.jpg "config_spider")

一个抓取器可以配制抓取多个站点，一个站点也可以配制多个抓取器抓取。

然后点击“开始”，则会启动抓取器。

## 查看和导出数据

![navigate](https://oscimg.oschina.net/oscnet/e070157d65b53fb8f4d0a66d8bd07ba9a92.jpg "navigage")

可以按照搜索条件进行导出数据。选择“导出”按扭后，还将提示导出哪些数据段，最后导出文件。 如果数据少量，将会导出为excel文件，否则下载的打包之后的zip文件。如下图所示：

![data_export](https://oscimg.oschina.net/oscnet/915b51b1a74c589368a7220b036e292a12f.jpg "data_export")

本节内容描述到这里，下一篇将讲述如何通过金色数据如何将数据融合到数据表当中去。

ITPub博客

GoldData学习实例-采集官网新闻数据

最新文章