ITPub博客

首页 > 大数据 > 数据挖掘 > RestCloud 从“暧昧”到“热恋”之旅

RestCloud 从“暧昧”到“热恋”之旅

原创 数据挖掘 作者:RestCloud 时间:2022-07-08 14:51:30 0 删除 编辑

(一)我们的相遇是如何发生的?


1. 背景

估计大家都会遇到,随着企业内部数据需求、跨系统数据抽取任务不断增加,对数据而言会带来前所未有的困难,此时此刻亟需一个工具出现,解决我们数据加载、转换和抽取的燃眉之急。


2. 痛点

由于内部对于数据的规划没有思考大而全,对于数据加载、转换和抽取更多使用开源的 Kettle 等免费工具,而 kettle部署的架构是 C/S,需要每天登录服务监控任务,缺乏有效的自动化监控,且无法知道哪些任务成功的,哪些任务是失败的;外加上系统单独做了台账的记录,没有与 kettle 绑定在一起,缺乏联动;数据源的链接只能单独创建,重复的工作深深影响企业内部数据的发展;各业务数据孤岛、业务爆发增加和数据共享事务越来越多,急需要一个工具整合联通,发挥数据应用价值;

另外在《DAMA》数据管理知识体系指南提过一点,数据集成和互操作的度量指标是数据可用性、数据量和速度、解决方案成本和复杂度,这些因素若不重视起来,到时候任务越来越繁杂,原方法没法支撑,到时问题解决解决不到位,得不偿失。


3. 需求

数据源管理,一键配置,多方引用数据转换,支持多场景使用,包括格式变化、结构变化、语义转换、数据加解密等等数据编排,兼顾任务并行和串行日常监控,任务状态快速了解、支持多场景日志结构推送等等......


4. 用户画像

我是一名数据产品经理,致力于解决数据爆发增加、业务发展迅速引申的数据管理问题,懂工具、懂技术、又懂需求。


5. 她的特点

特点:易用性、适用性、扩展性、协同开发等等当初在百度搜索“数据集成工具”发现有篇文章介绍,觉得挺不错,能解决我的大部分痛点,后面安装部署慢慢接触下来,自己操作上手,发现确实能提升工作效率,所以那一刻我就觉得我遇到对的“她(Rest-Cloud ETL 社区版)”


(二)情窦初开--暧昧期


刚一开始,自己从部署到使用,慢慢发现她的优点,挺吸引人的,符合我的需求,又能解决实际业务问题,何以解忧,唯有Restcloud。以下是我的使用感受:


1. 数据源管理

数据源的配置支持关系型数据库、消息型数据库和大数据型数据库,又支持国产 DM 数据库,方便企业数据源的配置,一次配置,多方引用,不需要重复创建。


2. 数据集成开发

数据集成开发,可以自定义流程配置,部分组件贴合业务场景使用,包括输入、输出、运算、转换、API 调用、脚本(Java、Python 等)执行、文件处理等组件;另外对于单个流程,支持定时测量配置,也有调度记录查看,方便知道最近的作业情况,出现问题及时排查故障。


3. 运行监控

监控支持各个流程的运行情况查看,能第一时间告诉运维人员哪些是运行中、哪些是警告或错误,以及数据更新情况;还支持待办任务查看,及预警信息。


(三)懵懵懂懂--冲突期


每个产品从开始都会暴露出小许问题,有则改之无则加勉,才会慢慢成长起来。


1. 部署文档难懂

一开始使用 windows 系统安装遇到很多问题,不是技术出身的我,看的命令真的头痛,后面慢慢摸索,才知道如何走下一步,但部署手册一开始没人回答,和我一起的小伙伴是如何坚持下来,很好奇哈哈哈哈,不过官方重新优化文档浏览方式,感兴趣的小伙伴体验下()。


2. 序列号过期

期间不知道遇到过多少次序列号过期,或登录时接口报错,运营团队的小伙伴慢慢解答,这些小问题难不倒我。


3. 不听话的“搜索”

期间喜欢找 bug 的我,在社区上找到几个问题,社区运营回复挺快,也有相应解决方案,让我感到得到尊重。



(四)热情奔放--热恋期


虽然从开始认识,到小许冲突,如果不继续使用这套工具完

成相应的任务,这很难发挥她应有的价值。


1. 正事开始

其实当初我想用社区版做数据加解密工作,社区版包含哈希和非对称加密方式,但苦苦等不了 SM4 算法加解密控件,不过在不断在和社区提意见的基础上,终于提上日程,并在某

天上线相关控件服务。


2. 不断成长

社区版已经不知不觉迭代 9 个版本,也修复很多问题,帮助很多小伙伴提升工作效率,而我呢,从以前一列一列拷贝到加密程序的操作转换成现在一条任务,不间断操作,解决数据抽取难点,也有更多时间让我去思考数据管理的其他工作(如数据治理、数据质量和数据成熟度评估)


3. 彼此收获

社区举行了“社区活跃者”活动,收获来自 Restcloud 的神秘礼物,能用,能看,感谢!



(五)未来可期--守护期!

未来的路很长,遇到不止像我一样的小伙伴,希望 RestCloud的小伙伴发光发热,再创辉煌,继续守护我们数据人!


PS:第一次发表征稿,有不当或表达欠明确的,可以提提意见哈哈


---

文章来源:RestCloud社区 club.restcloud.cn

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70005218/viewspace-2904878/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
应用及数据集成专家,专注应用集成、数据集成、SaaS集成、API生命周期管理等领域

注册时间:2021-08-13

  • 博文量
    513
  • 访问量
    377183