ITPub博客

首页 > 大数据 > Storm > 快速完成智能数据构建,Dataphin公共云版本全面解读

快速完成智能数据构建,Dataphin公共云版本全面解读

Storm 作者:代码派就是我 时间:2019-06-27 10:59:49 0 删除 编辑

公测两个月,Dataphin公共云版本已经受到了阿里云上众多轻量级用户的关注。事实上,Dataphin作为一款大数据智能构建与管理的产品,其核心功能是面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据构建与管理的大数据能力,包括产品、技术和方法论,助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系,以驱动业务创新。

日前,基于公测期间用户关注的诸多问题,Dataphin团队在阿里云上启动了首场Dataphin公共云产品直播。针对性地解读了这一版本在性能和使用上的亮点。

1、Dataphin可以解决什么问题?

近年来大数据领域最热门的词非“数据中台”莫属,很多数据服务商都转型为“数据中台”的搭建者。然而与“数据中台”的构建密切相关的产品Dataphin现已正式上线阿里云公共云环境。致力于帮助更多企业完成智能数据构建与管理的期望。

“数据中台”在媒体报道中,俨然成为了一个新的风口,那么“数据中台”也像之前的“物联网”、“O2O”一样只是概念吗?其实“数据中台”是一个经过实践验证后被提出的能力,阿里巴巴早在2015年就已确定数据中台为战略方向。今天终于可完整的携带方法论、技术、产品对集团外进行能力输出。

阿里巴巴的数据中台是滋生于业务的,实实在在解决着业务中的痛点,对于正在进行数字化转型的企业来说,不同的岗位角色有着不同的困惑。

在数据使用上遇到一些现实问题,大致可以从业务视角和技术视角两方面来看:

首先是业务角度,由于数据标准不统一,命名不规范,口径不一致,导致不同业务方对于同一个业务的认知有所不同;又因为由于团队之间的壁垒,导致每个团队能够使用的数据非常有限,数据孤岛化严重;而从数据加工处理的流程来看,各业务之间相互调用,逐步形成网状依赖,加剧了数据重复建设以及管理失效的现状;

其次是技术角度,烟囱式的开发导致开发周期长、效率低下,研发资源浪费,技术标准的差异则带来维护成本奇高,同时数据垂直开发,导致生产链路复杂且长,重复计算多,数据产出时效性差;

综合整个大数据技术及应用发展历史,数据构建与管理要落地企业长效发展过程中,最大的挑战可以抽象为以下四类:

  • 业务理解上,“数据指标不一致”;举个简单的例子,就是一家企业的CEO,订立销售目标是1个亿,结果他的5个业务负责人根据各自的算法所得的业绩数据都超过2千万,所有业务leader的任务都完成了,唯独CEO的业绩却没有完成!听起来可能是个玩笑,但是口径不一致的问题经常会出现我们的业务中;
  • 需求支持上,“研发难”;一般地,一个需求提出到响应给到业务方,一般要一周时间,这还不算业务方拿到需求发现与实际业务中感知有所差异,不断地与开发者进行对齐的时间;
  • 财务账单上,“资源消耗高,财务成本重”;举个简单的例子,我们写个复杂的查询,如果没有注意到全表扫描和主键唯一校验问题,就有可能扫描一张数十亿行的数据,就有可能执行超长的时间,消耗大量的资源;
  • 数据价值透出上,则需要快速响应、敏捷开发;举个简单的例子,模型做的非常好了,但是模型师不爱写文档,或者文档太久没有更新,对于一个应用开发者或者服务开发者而言,他需要不断地去看模型的代码,去探查数据验证自己的理解和判断,直到找出所需要的数据。同样,另外一个业务开发者也需要在不同的应用中使用这份数据,如果幸运地知道别人已经开发过了,可以做到一定程度的复用,但是如果不知道这个服务的存在,这位开发者还要重新来过一遍;

2、同类市场上,Dataphin的特点与优势在哪里?

Dataphin的原创性核心能力:

第一:“数据规范定义”。百分百消除二义性,所谓二义性就是两个同名的指标名称但是计算口径却是不同的,Dataphin通过规范定义与自动化建模的方式消除了这种二义性的存在;这一能力打破的是概念设计与逻辑设计之间的鸿沟;

第二:“设计即开发”。简单地说就是,实现了可视化配置后的代码自动生成,这一能力打破的是逻辑设计与物理设计之间的差异;

第三:“数据资产化管理”。数据构建完成后,需要系统化地管理与运营,让数据资产得以高质量、低成本、安全产出,更重要的是高效流通,快速价值化;

第四:“主题式查询”。简单地讲就是,面向数据使用者的不再是物理模型中分散的数据表,而是以主题组织的模型;对于使用者而言,将省去大量的沟通、理解成本。

3、中型企业、轻量级用户是否适合使用Dataphin吗?

我们经常会用到这张图,形象化地描述,如果你是一家小型企业,现在开始规范化建设你的数据,将来自然生长为一个大型规范的数据中心;如果您是一家大型企业,还没有建设数据中台,提前规划,提前储备,一步到位建设数据中台。公共云版本正是在中小企业成长过程中既满足用户的需求,同时又相比独立部署价更加经济的选择。

智能数据构建与管理 Dataphin:https://www.aliyun.com/product/dataphin

发布核心、场景、优势、接入、更多:https://m.aliyun.com/markets/aliyun/live/dp

Dataphin公共云重磅发布:https://yq.aliyun.com/live/1145

阿里云新品发布会频道:https://promotion.aliyun.com/ntms/act/cloud/product.html

阿里云新品发布会·周刊:https://yq.aliyun.com/articles/706306

原文链接:https://yq.aliyun.com/articles/706625

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31550522/viewspace-2648896/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
最新阿里云,新技术,新产品,以及相关活动介绍。

注册时间:2018-08-17

  • 博文量
    204
  • 访问量
    97114