DAG任务调度系统 Taier 演进之道,探究DataSourceX 模块
熟悉Taier的小伙伴们应该都知道,在11月7日发布的Taier1.3新版本中,我们融合了「DataSourceX 模块」。这是十分重要的一个变化,移除Taier外部插件依赖,新增数据源插件相关特性,支持后续Taier对接更多的RDBMS类型的SQL任务。本篇文章,就带大家详细了解一下DataSourceX 的作用及设计。DataSourceX 模块的作用为什么说 DataSourceX 是一个非
数字孪生赋能智慧港口解决方案,助力港口数字化转型
「如果港口是国民经济的晴雨表,那么智慧港口就是窥探港口未来发展的窗口。」数字孪生智慧港口解决方案以港区管控数据、生产作业数据、仓储运输数据等应用数据为基础,整合孤岛数据,沉淀数据资产,提供从数据采集到数据应用的全链路智能数据构建与管理平台,快速形成数据服务能力,同时提供数字孪生智慧港口场景,实现智慧枢纽港口建设全案解决方案和最佳实践。作为“21世纪海上丝绸之路”的重要节点,港口在“一带一路”建设及
Iceberg在袋鼠云的探索及实践
“数据湖”、“湖仓一体” 及 “流批一体” 等概念,是近年来大数据领域热度最高的词汇,在各大互联网公司掀起了一波波的热潮,各家公司纷纷推出了自己的技术方案,其中作为全链路数字化技术与服务提供商的袋鼠云,在探索数据湖架构的早期,就调研并选用了 Iceberg 作为基础框架,在落地过程中深度使用了 Iceberg 并进行了部分改造,在这个过程中,我们积累出了一些经验和探索实践,希望
Kerberos 身份验证在 ChunJun 中的落地实践
Kerberos,在古希腊神话故事中,指的是一只三头犬守护在地狱之门外,禁止任何人类闯入地狱之中。那么在现实中,Kerberos 指的是什么呢?一、Kerberos 介绍01 Kerberos 是什么根据百度词条释义,Kerberos 是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。Kerberos 旨在通过密钥加密技术为客户端 / 服务器应用程序提供身份验证,主
从数据治理到数据应用,制造业企业如何突破数字化转型困境丨行业方案
我国制造业拥有 31 个大类、179 个中类和 609 个小类,是全球产业门类最齐全、产业体系最完整的制造业。作为世界工厂,中国制造业在拉动本国经济增长、促进本国就业等方面贡献卓越,更是我国民生消费的底层基础。同时,中国从原来的原料出口国,逐步转为工业品中间品、中间品等普通技术密集型产品的国家,为其他国家消费品的满足提供坚实支撑。随着数字化浪潮汹涌而至,制造业紧随金融、信息通讯行业,正加速进入数字
喜讯+1!袋鼠云数栈技术团队获“2022年度优秀开源技术团队”
近日,在 “开源中国(OSCHINA)” 开展的年度评选中,袋鼠云数栈技术团队凭借在 2022 年间的技术分享频率及质量、运营积极性等多方面的表现,荣获 “2022 年度优秀开源技术团队” 的称号,这也是袋鼠云数栈技术团队连续第二年获得此奖项。开源中国作为国内最大的开源技术交流社区,一直不遗余力地助力着国内开源发展,不断向开发者传播最新开源与开发技术信息,让更多开发者关注到优秀的开源项目与技术。袋
行业方案 | 新规落地,企业集团财务公司如何构建数智财务体系?
企业集团财务公司(以下简称财务公司)是指以加强企业集团资金集中管理和提高企业集团资金使用效率为目的,依托企业集团、服务企业集团,为企业集团成员单位提供金融服务的非银行金融机构。通俗来讲财务公司是大型企业集团内部的银行,是需要向央行缴纳存款准备金的一种金融机构。它既可以从事一些基本业务,如存、贷、结,满足企业集团资金集中管理的需要,也可以利用金融牌照在资本市场或货币市场上开展业务。1987 年我国第
杭州联合银行 x 袋鼠云:打造智能标签体系,助力银行大零售业务转型
“智能标签平台上线后,支行及业务部门已创建多个客群用于营销,为我行客户精细化管理打下了良好基础。”杭州联合银行始终以服务市民、小微企业、经济组织和地方经济发展为己任,本着 “做小、做散、做深” 的原则,通过促进机制转型、优化业务流程、丰富产品体系、强化风险管控、等一系列手段,逐步形成了具有自身特色的 “社区银行” 发展战略,获得了良好的社会效益和经营效益。2021 年,联合银行就已搭建了大数据基础
数据安全新战场,EasyMR为企业筑起“安全防线”
保障数据安全,成为当前许多企业的重中之重,大数据基础平台EasyMR新增一站式大数据应用安全防控以及数据权限管控能力,实现一键部署安全管控服务,一键开启大数据集群组件的安全认证、用户管理以及权限管控服务,为企业数据安全保驾护航。
DTALK直播预约 | 12月8日开播:后疫情时代,制造企业如何实现数字化转型?
我国制造业拥有 31 个大类、179 个中类和 609 个小类,是全球产业门类最齐全、产业体系最完整的制造业。二十大报告中强调:“坚持把发展经济的着力点放在实体经济上”“推动制造业高端化、智能化、绿色化发展”。这为中国制造迈向高质量发展指明了方向。疫情发生以来,制造业面临用工难、复产复工难、成本高、数据管理难等问题,因此许多企业切身感受到了 “数字化转型” 的必要和迫切。危中寻机,企业应当如何应对
国产自研、安全、高可用——袋鼠云大数据基础平台EasyMR筑基企业数字化转型
近年来,国际形势的风云变幻,中美双边关系的恶化,警示国人,对于科技领域,只有自己掌握核心关键技术,实现自主可控,才能摆脱越来越频繁的 “卡脖子事件”,保证企业和国家信息安全。俗话说 “基础不牢,地动山摇 “。大数据基础平台什么?是打地基的,是重中之重,地基扎得越深、打得越牢,上面的建筑才能越稳定。可以说,数字化转型的 “万丈高楼” 起于基础平台,具备自主可控的平台建设能力,是真正意义上一切的前提。
开源共建 | TIS整合数据同步工具ChunJun,携手完善开源生态
TIS 整合 ChunJun 实操B 站视频:https://www.bilibili.com/video/BV1QM411z7w5/?spm_id_from=333.999.0.0一、ChunJun 概述ChunJun 是一款易用、稳定、高效的批流统一的数据集成框架,可基于实时计算引擎 Flink 实现多种异构数据源之间的数据同步与计算,既可以采集静态的数据,比如 MySQL,HDFS 等,也可
袋鼠云数据湖平台「DataLake」,存储全量数据,打造数字底座
一、什么是数据湖?在探讨数据湖技术或如何构建数据湖之前,我们需要先明确,什么是数据湖?数据湖的起源,应该追溯到 2010 年 10 月。基于对半结构化、非结构化存储的需求,同时为了推广自家的 Pentaho 产品以及 Hadoop,2010 年 Pentaho 的创始人兼 CTO James Dixon 首次提出了数据湖的概念。数据湖概念一经提出,便受到了广泛关注,人们发现此概念代表了一种新的数据
开源共建 | 中国移动冯江涛:ChunJun(原FlinkX)在数据入湖中的应用
ChunJun(原 FlinkX)是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018 年 4 月,秉承着开源共享的理念,数栈技术团队在 github 上开源了 FlinkX,承蒙各位开发者的合作共建,FlinkX 得到了快速发展。两年后的 2022 年 4 月,技术团队决定对 FlinkX 进行整体升级,并更名为 ChunJun,希望继续和各位优秀开发者合作,进一步推动
开源共建 | Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享
一、前言ChunJun(原 FlinkX)是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具,既可以采集静态的数据,比如 MySQL,HDFS 等,也可以采集实时变化的数据,比如 binlog,Kafka 等。同时 ChunJun 也是一个支持原生 FlinkSql 所有语法和特性的计算框架。ChunJun 具有丰富的插件种类,多达 40 种,如常见的 mysql、binlog、
袋鼠云数栈UI5.0体验升级背后的故事:可用性原则与交互升级
最近,我们袋鼠云的 UED 部⻔小伙伴们,不声不响地⼲了⼀件⼤事 —— 升级了全新设计语言「数栈 UI5.0」。众所周知,用户在使用产品时,是一个动态的过程,用户和产品之间进行交互的可用性,能否让用户愉悦、快速地在产品内达成目的,直接影响用户使用产品的体验。在设计中,有一个广泛的经验法则被称为「尼尔森十大可用性原则」,1995 年由著名的人机交互学博士尼尔森发表。它是产品设计和⽤户体验设计的重要参
袋鼠云产品功能更新报告 02 期丨有亿点点走心!
不知不觉间,2022 年的脚步已经走到了倒数第二个月。临近年末,我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化,例如基线告警、数据服务平台新增 TDengine 数据源支持、行级权限根据用户属性实现动态赋权。以下为袋鼠云产品功能更新报告第二期内容,更多探索,请继续阅读。数栈 DTinsight离线开发平台1. 支持对接 Trino 引擎创建项目时支持对接 Trino 引擎,支持创建和运
三分钟带你了解一站式大数据平台运维管家 ChengYing 产品包制作
课件获取:关注公众号 “数栈研习社”,后台私信 “ChengYing” 获得直播课件视频回放:点击这里ChengYing 开源项目地址:github 丨 gitee 喜欢我们的项目给我们点个__ STAR!STAR!!STAR!!!(重要的事情说三遍)__技术交流钉钉 qun:30537511产品包的构成01 产品包制作前置条件在制作产品包之前,我们首先要完成以下 3
官宣!Taier1.3 新版本正式发布,新鲜功能抢先体验
2022 年 11 月 7 日,Taier1.3 版本正式发布!Taier 是一个大数据分布式可视化的 DAG 任务调度系统,旨在降低 ETL 开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。Taier 自今年 2 月份开源之后,得到了社区开发者的广泛支持,我们
袋鼠云陈吉平:深耕国产自研数字化技术与服务,持续为客户创造价值
在经济面临下行压力、疫情反复等不确定因素之下,推动数字化转型就成为了许多企业的 “救命稻草”。然而,较高的数字化转型门槛、不成系统的数据服务,以及缺乏规范的行业标准等都成了企业数字化转型路上的 “绊脚石”。2015 年,袋鼠云成立并毅然投身于具有巨大想象力的数字经济发展浪潮,经过 7 年努力实践,不断完善自己的数字化服务能力,在牢固地基的基础上不断向上搭建应用层,致力于让更多的企业能够一站式完成数