ITPub博客

一、前言ChunJun（原 FlinkX）是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具，既可以采集静态的数据，比如 MySQL，HDFS 等，也可以采集实时变化的数据，比如 binlog，Kafka 等。同时 ChunJun 也是一个支持原生 FlinkSql 所有语法和特性的计算框架。ChunJun 具有丰富的插件种类，多达 40 种，如常见的 mysql、binlog、

最近，我们袋鼠云的 UED 部⻔小伙伴们，不声不响地⼲了⼀件⼤事 —— 升级了全新设计语言「数栈 UI5.0」。众所周知，用户在使用产品时，是一个动态的过程，用户和产品之间进行交互的可用性，能否让用户愉悦、快速地在产品内达成目的，直接影响用户使用产品的体验。在设计中，有一个广泛的经验法则被称为「尼尔森十大可用性原则」，1995 年由著名的人机交互学博士尼尔森发表。它是产品设计和⽤户体验设计的重要参

不知不觉间，2022 年的脚步已经走到了倒数第二个月。临近年末，我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化，例如基线告警、数据服务平台新增 TDengine 数据源支持、行级权限根据用户属性实现动态赋权。以下为袋鼠云产品功能更新报告第二期内容，更多探索，请继续阅读。数栈 DTinsight离线开发平台1. 支持对接 Trino 引擎创建项目时支持对接 Trino 引擎，支持创建和运

课件获取：关注公众号 “数栈研习社”，后台私信 “ChengYing” 获得直播课件视频回放：点击这里ChengYing 开源项目地址：github 丨 gitee 喜欢我们的项目给我们点个__ STAR！STAR！！STAR！！！（重要的事情说三遍）__技术交流钉钉 qun：30537511产品包的构成01 产品包制作前置条件在制作产品包之前，我们首先要完成以下 3

2022 年 11 月 7 日，Taier1.3 版本正式发布！Taier 是一个大数据分布式可视化的 DAG 任务调度系统，旨在降低 ETL 开发成本、提高大数据平台稳定性，大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。Taier 自今年 2 月份开源之后，得到了社区开发者的广泛支持，我们

在经济面临下行压力、疫情反复等不确定因素之下，推动数字化转型就成为了许多企业的 “救命稻草”。然而，较高的数字化转型门槛、不成系统的数据服务，以及缺乏规范的行业标准等都成了企业数字化转型路上的 “绊脚石”。2015 年，袋鼠云成立并毅然投身于具有巨大想象力的数字经济发展浪潮，经过 7 年努力实践，不断完善自己的数字化服务能力，在牢固地基的基础上不断向上搭建应用层，致力于让更多的企业能够一站式完成数

一、前言作为全链路数字化技术与服务提供商，袋鼠云提供了从数据湖、大数据基础平台、离线开发、实时开发、数据服务、数据治理、指标管理、客户数据洞察、数据孪生可视化等全产品体系的服务。围绕着 “行业应用” 及 “通用应用”，袋鼠云聚焦数智提供全维数字解决方案，帮助企业实现降本增效、快捷转型，迄今为止袋鼠云已服务超过 5000 家的客户。面对如此庞大的客户，平台需要不断更新迭代，以适应最新的产品特性，给客

报名地址：https://www.bagevent.com/event/83228772022 年，世界正在改变，开源创造价值。已经办到第七届的开源年会首次来到杭州与开发者们相聚。你眼中的开源是怎样的？对于开源你有没有想要讲述的？「开源」对于很多人而言，其存在的意义早就不止在于源代码的开放汇集，更在于不断加入的开发者们共同协作，生生不息。因此，我们想要在一个特定的时间内，和大家相聚在一起，连接有趣

一、什么是工作流？在阐述什么是工作流之前，先说一下工作流和普通任务的区别，在于依赖视图。普通任务本身他只会有自己的 dag 图，依赖视图是无边界的，不可控的，而工作流则是把整个工作流都展示出来，是有边界的，可控的，这是工作流的优势。下面为大家介绍工作流的相关功能：01 工作流 — 功能介绍● 虚拟节点虚拟节点，它是不产生任何数据的空跑节点（即调度到该节点时，系统直接返回成功，不会真正执行、不会占用

本篇是「标签画像系列」的第四篇，此前我们已经介绍过了标签画像体系建设方法论、标签体系设计与加工、标签加工与落库，这次我们来介绍一下「标签评分」。标签评分是标签治理的一个重要措施，通过给标签打分，可清晰直观的从各个维度评估标签，掌握标签真实使用情况，进行标签持续优化，助力业务运营。同时，也能帮助数据团队判断哪些标签更应该投入计算与存储资源，合理规划集群资源。一、为何要使用标签评分？经过前期标签体系设

本期我们带大家回顾一下无倦同学的直播分享《ChunJun 类加载器隔离》，ChunJun 类加载器隔离的方案是我们近期探索的一个新方案，这个方案目前还不是非常成熟，希望能借由此次分享与大家一起探讨下这方案，如果大家有一些新的想法欢迎大家在 github 上给我提 issue 或者 pr。一、Java 类加载器解决类冲突基本思想在学习方案之前，首先为大家介绍一下 Java 类加载器解决类冲突的基本思

据中国信通院发布，2012 年到 2021 年 10 年间，我国数字经济规模由 12 万亿元增长到 45.5 万亿元，在整个 GDP 中的比重由 21.6% 提升至 39.8%。顺应时代发展新趋势，“数据” 成为新的生产要素已是毋庸置疑的共识。如果说数据中台的崛起代表着企业数字化转型从流程驱动走向数据驱动，从数字化走向智能化。那么 DataOps，则是实现数据中台的一个优秀的理念或方法论。Data

今天我们来和大家聊一聊一个新话题，一个对于企业业务发展十分关键的东西 —— 指标。指标建设是衡量企业业务效果的主要依据，本文结合自身实践经验和大家分享指标的设计与加工过程，讲述其基础概念和设计加工方法，以及设计加工过程中的注意点，希望对感兴趣的同学有所帮助。一、指标建设的必要性1、什么是指标指标是客观描述某个事物某个特征的可量化的数字度量，如用户最近 30 天购买次数，某商品最近 30 天销售额等

7 月 28 日，在袋鼠云 2022 产品发布会上，袋鼠云技术负责人思枢正式宣布旗下产品「大数据基础平台 EasyMR」发布。EasyMR 是袋鼠云自研的大数据基础平台，提供 Hadoop、Hive、Spark、Trino、HBase、Kafka 等组件，完全兼容 Apache 开源生态；支持企业级安全管控，一键开启 LDAP+Kerberos+Ranger 认证权限体系；提供一站式运维管理平台，

一、直播介绍前几期，我们为大家分享了 ChunJun 的数据还原、Hive 事务表及传输模块的一些内容，本期我们为大家分享 ChunJun 类加载原理与实现。本次直播我们将从 Java 类加载器解决类冲突基本思想、Flink 类加载器隔离的方案、ChunJun 如何实现类加载器隔离及问题排查等方面为大家进行介绍，通过本次分享，希望大家能对类加载相关内容有更进一步的了解。二、直播主题ChunJun

8 月 27 日，ChunJun 社区与 OceanBase 社区联合组织的开源线下 Meetup 成功举办，会上重磅发布了「OceanBase&ChunJun：构建一体化数据集成方案」。这是 OceanBase&ChunJun 联合解决方案的首次发布，将针对分库分表的实时数据集成、跨集群 / 租户的数据集成、不同数据源的实时数据集成、日志类型数据的全增量一体化处理等诸多场景，提供

ChengYing 是一站式全自动化全生命周期大数据平台运维管家，提供大数据产品的一站式部署、运维、监控服务，其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等功能，致力于最大化节省运维成本，降低线上故障率与运维难度，为客户提供安全稳定的产品部署与监控。ChengYing 脱胎于袋鼠云数栈自主研发的一站式运维管家 EasyManager，承袭袋鼠云开源项目名剑家族的概念

课件获取：关注公众号 “数栈研习社”，后台私信 “Taier” 获得直播课件视频回放：点击这里ChunJun 开源项目地址：github 丨 gitee 喜欢我们的项目给我们点个__ STAR！STAR！！STAR！！！（重要的事情说三遍）__技术交流钉钉 qun：30537511前言在分享之前，先为大家介绍一下任务和实例的关系。任务指的是我们在任务开发界面上去创建的

本期我们带大家回顾一下漫路同学的直播分享《ChengYing 安装原理剖析》。本期内容多为实战演示，欢迎有兴趣的同学去 B 站配合视频观看，便于理解。一、ChengYing 安装原理ChengYing 安装主要分为下面八个模块的内容，下面为大家介绍一下每个模块主要能做的事情：1、主机编排一个组件包里面有很多服务，指定服务安装到哪些主机。2、冲突校验根据组件包之间的依赖关系，校验编排结果是否符合部署

上一篇文章详细给大家介绍了标签的设计与加工，在标签生命周期流程中，标签体系设计完成后，便进入标签加工与上线运行阶段，一般来说数据开发团队会主导此过程，但我们需要关心以下几个问题：・标签如何快速创建和实现标签逻辑的在线化管理・业务人员怎么参与到标签建设流程中・百万级别的标签如何落表一、加工方式：传统 VS 在线当企业无标签系统时，一般由数据开发在离线数仓中完成标签的加工和运行，运营或市场同学需要某个