ITPub博客

首页 > 数据库 > 国内数据库 > 五大亮点升级,偶数科技数据中台Lava 3.2新版本发布

五大亮点升级,偶数科技数据中台Lava 3.2新版本发布

原创 国内数据库 作者:偶数科技 时间:2020-09-07 13:58:12 0 删除 编辑

随着疫情的离去,近期偶数科技也更新了数据中台产品Lava 的3.2版本。本次发布主要在如下 五个方面做了优化


更强大的数据同步工具WASP

数据同步工具是数据中台必备的工具之一,WASP负责同步异构的业务数据到数据中台,以构建数据仓库,该功能可以灵活的应用于多种业务场景。


根据数据同步的方式分为两种:全量、增量。本次更新,在原本支持Oracle、DB2、MySQL、Postgres等数据源的基础上,增加了对 HDFS、 本地文件、SQLServer、DB2/AS400 的支持。增加了新的并发数据同步的任务切分策略,再一次提高了数据同步的效率。


作业调度工具LavaFlow

LavaFlow做了大量的优化的工作,比如:跨作业的任务依赖、超时报警机制、任务支持日期运行条件(如,只在周一执行,否则跳过);可以横置、纵置,可以折叠、展开流程图的分支等等。

其中最大的亮点是沉浸式的在线脚本与作业流程的开发。如下图所示,该在线开发工具不但可以在线开发SQL、Shell脚本,还可以支持脚本的版本管理,查看历史版本,比较历史版本的改动历史,回退到某一历史版本等等。


第二大亮点是支持高可用,包括在线开发脚本的高可用。某个作业调度的节点宕机,作业调度可以继续工作并且不会丢失脚本。
 
数据服务
数据中台不可或缺的功能模块,可以把数据的查询、数据的计算与AI模型封装成服务,使得第三方应用更方便的使用数据中台的数据资产、AI模型等。同时可以监控这些服务的调用情况。

IDE集成开发环境
数据中台需要解决的大数据应用相关的问题之一是敏捷开发,数据的快速交付,IDE就是为此而生。


众所周知,Lava大数据平台包含或者开箱即用的集成了LittleBoy AI建模工具、WASP数据同步工具、LavaFlow作业调度工具、数据服务、AI服务等等。IDE的作用是以项目的方式组织这些大数据开发的任务:数据同步任务、AI训练任务、AI模型、作业调度作业与任务等等。

运维模块
根据大数据各产品与服务的特点,重构了自动部署的框架,使得所有的服务的部署共用一套通用的框架,降低了支持新的服务的自动部署所需开发工作量,提高了自动部署的稳定性与容错性。

提供了Lava方便易用的系统命令,比如启动、停止lava集群的命令:lava start/stop cluster。

统一了日志目录,把所有组建日志目录统一到/var/log/目录下。包括数据同步工具WASP、AI与作业调度工具LavaFlow。



我们是偶数科技,更多信息请关注我们的公众号:偶数科技


微信图片_20200904133607.jpg




来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69983210/viewspace-2717628/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2020-09-03

  • 博文量
    34
  • 访问量
    13530