大型集团企业数据治理实践,推进全域数据资产体系建设 | 数字化标杆
数据治理是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。沉淀了丰富的集团型企业数据治理项目经验,助力客户构建全域数据共享中心,实现数字化升级。
袋鼠云数栈UI5.0焕新升级,全新设计语言DT Design,更懂视觉更懂你!
袋鼠云数栈UI5.0焕新升级,并带来数栈独有的全新设计语言「DT Design」,打造更高效、愉悦的使用体验。本文就为大家从产品升级策划、确⽴设计⽬标和解决⽅向、数栈设计语⾔、设计提升点、情感化设计五个⽅⾯全面分享解析数栈 DTinsight UI 5.0 的全新设计升级内容,干货满满,不容错过!
一看就懂!任务提交的资源判断在Taier中的实践
Taier 介绍Taier 是袋鼠云开源项目之一,是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。项目地址:https://github.com/DTStack/TaierTaier 资源判断Taier 基于
看这篇就够了丨基于Calcite框架的SQL语法扩展探索
Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite,理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中都发现关于Calcite的实践案例其实很少,本文就将为大家详细介绍如何基于Calcite框架的SQL语法扩展探索使之更符合你的业务需求,以及
DTALK直播预约 | 金融行业嘉宾分享:金融机构数据治理实践路径
金融业天然就是一个经营数据的行业,一直对数字技术保持高度重视,是数字化转型最早和数字技术应用最广的行业之一。在金融和技术融合过程中,数据治理是关键。当前金融数据治理已由过去局部数据管理,发展到统筹数据整合、智能应用、数据驱动决策和数据开放融合,这对金融数据治理提出了更高的要求,也带来新的挑战。本期DTALK我们邀请到金融行业嘉宾——大型金融机构信息部负责人 李霏帆,为大家带来《金融机构数据治理实践
袋鼠云产品功能更新报告03期丨产品体验全面优化,请查收!
年底啦~2022年即将走到尾声,不过袋鼠云对产品品质的坚持始终如一,这段时间我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化,例如新增任务告警,进行了Connector相关功能优化,以及支持跨时间分区圈群等。以下为袋鼠云产品功能更新报告第三期内容,更多探索,请继续查阅。离线开发平台1.任务诊断用户痛点:任务一直在等待提交或者等待运行,用户看不到原因,不知道该如何处理能让任务尽快跑起来;任
DAG任务调度系统 Taier 演进之道,探究DataSourceX 模块
熟悉Taier的小伙伴们应该都知道,在11月7日发布的Taier1.3新版本中,我们融合了「DataSourceX 模块」。这是十分重要的一个变化,移除Taier外部插件依赖,新增数据源插件相关特性,支持后续Taier对接更多的RDBMS类型的SQL任务。本篇文章,就带大家详细了解一下DataSourceX 的作用及设计。DataSourceX 模块的作用为什么说 DataSourceX 是一个非
数字孪生赋能智慧港口解决方案,助力港口数字化转型
「如果港口是国民经济的晴雨表,那么智慧港口就是窥探港口未来发展的窗口。」数字孪生智慧港口解决方案以港区管控数据、生产作业数据、仓储运输数据等应用数据为基础,整合孤岛数据,沉淀数据资产,提供从数据采集到数据应用的全链路智能数据构建与管理平台,快速形成数据服务能力,同时提供数字孪生智慧港口场景,实现智慧枢纽港口建设全案解决方案和最佳实践。作为“21世纪海上丝绸之路”的重要节点,港口在“一带一路”建设及
Iceberg在袋鼠云的探索及实践
“数据湖”、“湖仓一体” 及 “流批一体” 等概念,是近年来大数据领域热度最高的词汇,在各大互联网公司掀起了一波波的热潮,各家公司纷纷推出了自己的技术方案,其中作为全链路数字化技术与服务提供商的袋鼠云,在探索数据湖架构的早期,就调研并选用了 Iceberg 作为基础框架,在落地过程中深度使用了 Iceberg 并进行了部分改造,在这个过程中,我们积累出了一些经验和探索实践,希望
Kerberos 身份验证在 ChunJun 中的落地实践
Kerberos,在古希腊神话故事中,指的是一只三头犬守护在地狱之门外,禁止任何人类闯入地狱之中。那么在现实中,Kerberos 指的是什么呢?一、Kerberos 介绍01 Kerberos 是什么根据百度词条释义,Kerberos 是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。Kerberos 旨在通过密钥加密技术为客户端 / 服务器应用程序提供身份验证,主
从数据治理到数据应用,制造业企业如何突破数字化转型困境丨行业方案
我国制造业拥有 31 个大类、179 个中类和 609 个小类,是全球产业门类最齐全、产业体系最完整的制造业。作为世界工厂,中国制造业在拉动本国经济增长、促进本国就业等方面贡献卓越,更是我国民生消费的底层基础。同时,中国从原来的原料出口国,逐步转为工业品中间品、中间品等普通技术密集型产品的国家,为其他国家消费品的满足提供坚实支撑。随着数字化浪潮汹涌而至,制造业紧随金融、信息通讯行业,正加速进入数字
喜讯+1!袋鼠云数栈技术团队获“2022年度优秀开源技术团队”
近日,在 “开源中国(OSCHINA)” 开展的年度评选中,袋鼠云数栈技术团队凭借在 2022 年间的技术分享频率及质量、运营积极性等多方面的表现,荣获 “2022 年度优秀开源技术团队” 的称号,这也是袋鼠云数栈技术团队连续第二年获得此奖项。开源中国作为国内最大的开源技术交流社区,一直不遗余力地助力着国内开源发展,不断向开发者传播最新开源与开发技术信息,让更多开发者关注到优秀的开源项目与技术。袋
行业方案 | 新规落地,企业集团财务公司如何构建数智财务体系?
企业集团财务公司(以下简称财务公司)是指以加强企业集团资金集中管理和提高企业集团资金使用效率为目的,依托企业集团、服务企业集团,为企业集团成员单位提供金融服务的非银行金融机构。通俗来讲财务公司是大型企业集团内部的银行,是需要向央行缴纳存款准备金的一种金融机构。它既可以从事一些基本业务,如存、贷、结,满足企业集团资金集中管理的需要,也可以利用金融牌照在资本市场或货币市场上开展业务。1987 年我国第
杭州联合银行 x 袋鼠云:打造智能标签体系,助力银行大零售业务转型
“智能标签平台上线后,支行及业务部门已创建多个客群用于营销,为我行客户精细化管理打下了良好基础。”杭州联合银行始终以服务市民、小微企业、经济组织和地方经济发展为己任,本着 “做小、做散、做深” 的原则,通过促进机制转型、优化业务流程、丰富产品体系、强化风险管控、等一系列手段,逐步形成了具有自身特色的 “社区银行” 发展战略,获得了良好的社会效益和经营效益。2021 年,联合银行就已搭建了大数据基础
数据安全新战场,EasyMR为企业筑起“安全防线”
保障数据安全,成为当前许多企业的重中之重,大数据基础平台EasyMR新增一站式大数据应用安全防控以及数据权限管控能力,实现一键部署安全管控服务,一键开启大数据集群组件的安全认证、用户管理以及权限管控服务,为企业数据安全保驾护航。
DTALK直播预约 | 12月8日开播:后疫情时代,制造企业如何实现数字化转型?
我国制造业拥有 31 个大类、179 个中类和 609 个小类,是全球产业门类最齐全、产业体系最完整的制造业。二十大报告中强调:“坚持把发展经济的着力点放在实体经济上”“推动制造业高端化、智能化、绿色化发展”。这为中国制造迈向高质量发展指明了方向。疫情发生以来,制造业面临用工难、复产复工难、成本高、数据管理难等问题,因此许多企业切身感受到了 “数字化转型” 的必要和迫切。危中寻机,企业应当如何应对
国产自研、安全、高可用——袋鼠云大数据基础平台EasyMR筑基企业数字化转型
近年来,国际形势的风云变幻,中美双边关系的恶化,警示国人,对于科技领域,只有自己掌握核心关键技术,实现自主可控,才能摆脱越来越频繁的 “卡脖子事件”,保证企业和国家信息安全。俗话说 “基础不牢,地动山摇 “。大数据基础平台什么?是打地基的,是重中之重,地基扎得越深、打得越牢,上面的建筑才能越稳定。可以说,数字化转型的 “万丈高楼” 起于基础平台,具备自主可控的平台建设能力,是真正意义上一切的前提。
开源共建 | TIS整合数据同步工具ChunJun,携手完善开源生态
TIS 整合 ChunJun 实操B 站视频:https://www.bilibili.com/video/BV1QM411z7w5/?spm_id_from=333.999.0.0一、ChunJun 概述ChunJun 是一款易用、稳定、高效的批流统一的数据集成框架,可基于实时计算引擎 Flink 实现多种异构数据源之间的数据同步与计算,既可以采集静态的数据,比如 MySQL,HDFS 等,也可
袋鼠云数据湖平台「DataLake」,存储全量数据,打造数字底座
一、什么是数据湖?在探讨数据湖技术或如何构建数据湖之前,我们需要先明确,什么是数据湖?数据湖的起源,应该追溯到 2010 年 10 月。基于对半结构化、非结构化存储的需求,同时为了推广自家的 Pentaho 产品以及 Hadoop,2010 年 Pentaho 的创始人兼 CTO James Dixon 首次提出了数据湖的概念。数据湖概念一经提出,便受到了广泛关注,人们发现此概念代表了一种新的数据
开源共建 | 中国移动冯江涛:ChunJun(原FlinkX)在数据入湖中的应用
ChunJun(原 FlinkX)是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018 年 4 月,秉承着开源共享的理念,数栈技术团队在 github 上开源了 FlinkX,承蒙各位开发者的合作共建,FlinkX 得到了快速发展。两年后的 2022 年 4 月,技术团队决定对 FlinkX 进行整体升级,并更名为 ChunJun,希望继续和各位优秀开发者合作,进一步推动