ITPub博客

首页 > 数据库 > 数据库开发技术 > 南瓜树数据平台数据同步的操作手册-(文末附操作视频和其他教程)

南瓜树数据平台数据同步的操作手册-(文末附操作视频和其他教程)

原创 数据库开发技术 作者:小南瓜开发平台 时间:2024-03-01 00:12:43 0 删除 编辑

前言

南瓜树V6.0版本发布有一段时间了,收到不少朋友咨询关于如何使用数据平台进行数据同步和服务开发的疑问。

因为刚开年,工作上比较忙,需要汇报和计划的事项较多;没来得及输出关于6.0版本的使用手册;所以现在立刻马上安排!!!!!!

一、数据源注册


①数据引擎


1、登录数智平台,点击数据汇聚下的数据引擎菜单,打开数据引擎列表页面



2、点击新增按钮,弹出新增页面



3、填写完数据源信息后,点击校验按钮,校验数据源是否正常连接,如果连接正常则会提示校验成功



4、点击操作列的抓取元数据按钮,打开抓取页面



5、在抓取表名称中,输入需要抓取的数据表,点击提交按钮,系统会将这个表的信息和表的字段信息抓取到系统中,抓取后,可以查看表信息、表字段、表的数据明细


如果不填写表英文名称,则默认抓取所有表



②数据目录


1、点击左侧数据汇聚下的数据目录菜单,打开数据目录管理页面

可以查看所有抓取到系统上的表信息



2、点击查看按钮,打开新的数据查看页面;页面显示这个表的所有数据明细信息



点击字段名称,可以进行当前页的数据排序



3、点击采集按钮,打开数据采集任务配置页面


填写作业名称入库引擎和入库表信息,核实需要将数据采集到目标数据库和新表名称正确后,点击确定按钮完成采集作业的配置,可以在数据开发下的作业开发菜单中看到这条采集作业信息



③字段元数据


1、在数据汇聚下的字段元数据中可以看到已经抓取到系统上的所有的表的字段信息



二、数据开发


①服务开发


1、点击数据开发下的服务开发菜单,打开服务开发页面


在服务开发中,可以新增数据服务,创建的数据服务可以作为外部系统调用API获取和写入数据,也可以用来在数据同步作业开发中进行增量数据抽取时使用



2、点击新增按钮,打开新增服务开发页面,填写如下信息:


名称:数据服务的别名,便于识别服务的用途

数据引擎ID:注册到系统的数据引擎后生成的ID

数据编码:英文字母、数字、下划线组成,用于外部系统调用服务的唯一凭证

sql语句:服务提供出去的数据的sql语句

api状态:公开:所有账号都可以调用服务;内部使用:和服务创建者归属同一个组织下的账号才可以调用;禁用:所有用户都不能使用

备注:备注信息



②作业开发


1、点击左侧数据开发下作业开发菜单,打开作业开发页面



2、点击新增按钮,打开新增作业页面



3、填写完信息后,点击确定按钮,完成作业的配置


如果作业类型选择的是采集时,则入库表必须是不存在的表名称;在启动作业时会自动创建表,否则会提示表已存在无法进行数据采集;


如果作业类型选择的是抽取时:如果需要一直进行数据增量的抽取,则需要设置对应的增量字段和和增量字段类型;同时还需要开发一个数据服务,将服务编码填写到抽取读取服务的字段中



4、点击列表页面的立即执行按钮,执行一次作业任务


在执行状态列可以查看到最后一次执行的状态信息,点击查看可以查看所有运行记录的执行结果



③任务引擎


1、在作业开发中,完成了作业的开发后,如果需要定时运行作业,则需要在数据开发的任务引擎菜单中进行配置


2、点击任务引擎开发,打开列表页面



3、点击新增按钮,打开新增任务页面,填写任务信息



4、在调用方式中需要填写作业开发中的主键ID,标识需要定时执行哪个作业


etlTask.run('作业开发中的主键ID')


5、填写完任务信息后,设置需要定时执行的频率;在状态列开启任务引擎,系统会定时执行作业任务






附1:操作视频教程:

https://pan.baidu.com/s/177wjvNppyT5Z-N0j3SfMUQ?pwd=skwz

提取码:skwz


附2:南瓜树基础能力平台白皮书

https://note.youdao.com/s/KMle9FLi

原文作者:小南瓜开发平台;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2020-08-21

  • 博文量
    209
  • 访问量
    89503