ITPub博客

首页 > 数据治理 > 数据治理 > 如何使用ETLCloud调用WebService接口实时拉取数据到本地数库中

如何使用ETLCloud调用WebService接口实时拉取数据到本地数库中

原创 数据治理 作者:ETLCloud集成数据社区 时间:2023-08-31 18:45:56 0 删除 编辑

企业里面有很多业务系统只能提供WebService接口如SAP等,还有一些SaaS系统也只提供WebService的接口如Workday等,对于这些系统的数据我们可以使用ETL工具进行调用然后把XML中的数据进行解析后存储到数据库中或者同步到本地的其他业务系统中,使用 ETLCloud 工具只需简单两步即可完成上述数据的同步而且无需编码,现在来看下实现过程。

马上申请体验 ETLCloud社区版 https://www.etlcloud.cn

首先登录 ETL Cloud 平台

使用 ETL调用WebService接口实时拉取数据到本地数库中
打开一个应用或者新建一个应用均可,然后进入到流程列表中


使用 ETL调用WebService接口实时拉取数据到本地数库中
创建一个 WebService同步任务

使用 ETL调用WebService接口实时拉取数据到本地数库中
从左则分别拉取一个 WebSerivce节点和库表输出节点,目标节点我们选择mysql数据源

使用 ETL调用WebService接口实时拉取数据到本地数库中
输入 WebService的WSDL地址并在XML节点中指定读取返回的XML中的数据字段,这里我们将获取公网上的一个WebService接口, 该流程示例在系统示例应用中有。

 

注意这个 WebService有好几个方法,我们需要在节点的Header中的SoapAction中指定具体调用其中的那一个方法。

使用 ETL调用WebService接口实时拉取数据到本地数库中
以上是这个 WebSerivce的服务说明文档,我们调用他其中的一个方法获取区域以及编码数据然后传到mysql中进行存储。


使用 ETL调用WebService接口实时拉取数据到本地数库中
输入参数的 XML可以使用SoapUI工具进行解析然后复制进来即可,这样我们的WebService节点就配置完成了。

后面的 MySql节点就比较容易了,可以提前先建好表,也可以由ETL任务自动创建表,我们这里选择由ETL工具自动建表并输出数据到mysql。

使用 ETL调用WebService接口实时拉取数据到本地数库中
这里输入的表名,表不存在的话,系统会根据输入字段自动创建这张表

使用 ETL调用WebService接口实时拉取数据到本地数库中
然后配置这张表要接收数据的字段,系统将根据此配置字段进行数据库表的创建。

使用 ETL调用WebService接口实时拉取数据到本地数库中
输出选项中我们选择第一次执行时清空目标表,自动建表,逐条更新即可 ,配置完成后保存流程,即可以开始调试运行,现在我们来运行一下看看效果。

使用 ETL调用WebService接口实时拉取数据到本地数库中
点击运行,选择单步调试,可以看到拉取的区域数据,并会存入到 mysql中

使用 ETL调用WebService接口实时拉取数据到本地数库中
在调试界面中我们可以看到拉取到了 79条数据,再点下一步即可存入到mysql中

使用 ETL调用WebService接口实时拉取数据到本地数库中
任务运行结果显示成功 79条数据到mysql中,我们可以去mysql表中预览一下是不是把区域数据拉到mysql中了。

使用 ETL调用WebService接口实时拉取数据到本地数库中
打开 mysql客户端可以看到WebSerivce中的数据已经成功拉取到本地mysql中了,如果调试没有问题我们就可以给他安排一个定时任务,定时同步webservice中的数据到本地即可。

使用 ETL调用WebService接口实时拉取数据到本地数库中
可以选择每天晚上同步一次或其他同步时间可以自定义同步频率

上面我们就通过 ETLCloud 简单两步配置即实现了 WebService接口的数据拉取同步任务,可以说是非常简单

ETLCloud介绍

ETLCloud是一款零代码ETL工具,可以快速对接上百种数据源和应用系统,无需编码即可快速完成数据同步和传输,企业IT人员只需简单几步即可快速完成各种数据抽取同步并配合BI工具实现数据的统计分析。

( ETLCloud可视化流程同步界面)

ETLCloud社区版本免费下载使用 https://www.etlcloud.cn

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70030339/viewspace-2979851/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2023-05-25

  • 博文量
    93
  • 访问量
    51084