ITPub博客

第06期袋鼠云产品功能更新报告来啦！包括对 EasyMR 监控告警功能的更新，以及对离线开发平台表生命周期逻辑的优化等，力求满足不同行业用户的更多需求，为用户带来极/致的产品使用体验。

之前的文章中，我们已经为大家介绍了 ChengYing 的安装原理、产品包制作、产品线部署等内容，本篇将和大家介绍一个困扰许多开发者的内容——ChengYing 主机接入。帮助所有对 ChengYing 感兴趣的开发者更好地了解和使用一站式全自动化运维管家 ChengYing。主机接入流程在部署完 ChengYing 之后，从集群进去，进入主机资源，进行集群编辑之后，开始主机接入流程。具体的接入过

袋鼠云实时开发平台StreamWorks，⼀直致⼒于降低 FlinkSQL 的开发门槛，让更多的数据开发掌握实时开发能⼒，普及实时计算的应⽤。本文为大家介绍在袋鼠云实时开发平台开发 FlinkSQL 任务的四种⽅式。

在平时和开发者们交流的过程中，发现许多开发朋友尤其是新入门 Taier 的开发者，对于本地调试都有着诸多的不理解和问题。本文就大家平时问的最多的三个问题，服务编译，配置&本地运行，如何在 Taier 运行 Flink-standalone，进行简单的介绍，希望和大家共同交流学习。服务编译在本章将介绍服务编译中的两大插件 WorkerPlugins 及 DataSourcePlugin，以及

时下，众多金融机构在积极推行数字化改革，以适应时代高速革新。为回应市场对信息即时生效的迫切需求，各家券商机构都需要更具竞争力的信息服务。本次方案结合券商场景与业务实践，围绕客户实际面临的业务和数据问题，输出整体建设方案，方案包括业务背景、业务痛点、以及相关解决方案和实际案例。以上内容节选自案例集，点击链接下载完整案例集：https://www.dtstack.com/resources/10480

作为一站式大数据基础软件的袋鼠云数栈，基于 Apache Hudi 为客户提供了存量数据迁移、数据入湖、文件治理等完整支持能力。在这个过程中，积累了一些 Hudi 性能优化的经验，希望通过本文与大家分享交流。

从北京到新疆、从中国到南非，从奥运会场馆的水泥混凝土到钱塘江畔拔地而起的高楼房产，无不存在着这个集团的身影。历经60多年沧桑巨变，某市属大型国有控股建筑产业集团已发展成为一家中国500强企业、A+H整体上市公司，然而，该集团的实力与决心，远不限于此。为让数据更好支撑业务，该集团与袋鼠云合作，通过数据中台架构，搭建经营决策分析平台。实现经营决策数据及指标的完整性、准确性、一致性，海量数据管理和数据集

各位看官大家好，今天给大家分享的又是一篇实战文章，希望大家能够喜欢。目前「袋鼠云客户数据洞察平台」标签服务的群组按种类划分，可以分为三大类，分别是实时群组、动态群组以及静态群组。如果按创建方式划分则有两种，分别是通过圈群的方式创建以及通过上传本地文件进行维度匹配的方式创建得到本地群组，其中本地群组属于静态群组。除了本地群组外的其他群组目前都是采用圈群的方式生成匹配 SQL，然后执行相应的 SQL

企业数字化转型以数据为中心，通过数据驱动业务发展、管理协同和运营。因此，数字化转型关键在于数据，数据治理则需先行。从而更好激发数据生产要素潜能，实现业务数据化、数据价值化，助力企业数字化转型。那么何为数据治理？国际数据管理协会（DAMA）在其《DAMA数据管理知识体系指南（第2版）》一书中将数据治理进行了定义，即数据治理是对数据资产管理行使权力、控制和共享决策（规划、监测和执行）的系列活动。此外，

本文将为大家详细介绍配置式表单渲染器在袋鼠云的实现思路与实践，在对接新的数据源时，可以不再关心表单渲染相关问题，从数据源中心新建数据源一直到数据源在数据同步模块的应用，全链路的表单都可以通过配置化的方式解决。

本文从 FTP Connector 的功能详解，自定义文件切割及自定义 FileFormat 三个方面为大家带来 ChunJun FTP Connector 的功能扩展分享，对ChunJun感兴趣的同学不要错过～

关于用户价值分析最经典的实现模型——RFM模型，本文将从理论到实操，为大家详细介绍 RFM 模型在「袋鼠云客户数据洞察平台」内的落地实战，帮助您快速判断用户价值等级，真正实现数据赋能业务发展。

在大数据处理中，实时数据分析是一个重要的需求。本文为大家介绍袋鼠云基于 Hudi 构建数据湖的整体方案架构及其在实时数据仓库处理方面的特点，并且为大家展示一个使用 Apache Hudi 的简单示例，便于新手上路。

ChunJun技术分享干货来了！离线同步是 ChunJun 的⼀个重要特性，本文将为大家介绍如何使用 ChunJun 实时同步，并且对ChunJun 离线同步原理进行解析，帮助大家更好地理解 ChunJun 与离线同步，欢迎点进正文阅读。

在企业级应用中，数据的安全性和隐私保护是极其重要的，为了实现Spark SQL 对数据的精细化管理及提高数据的安全性和可控性，数栈基于 Apache Ranger 实现了 Spark SQL 对数据处理的权限控制，本文将重点描述数栈如何基于 Ranger 赋予了 Spark SQL 在权限管控方面，更强的管控力度、更丰富的能力。

随着世界经济由工业经济向数字经济转型，数据逐步成为关键的生产要素，企业开始将数据作为一种战略资产进行管理。数据从业务中产生，在IT系统中承载，要对数据进行有效治理，需要业务充分参与，IT系统确保遵从，这是一个非常复杂的系统工程。数据治理架构实践证明，企业只有构筑一套企业级的数据治理综合体系，明确关键数据资产的业务管理责任，依赖规范的制度流程机制，构建有效的管理平台及工具，数据的价值才能真正发挥出来

在之前的内容当中，我们为大家介绍过 ChengYing 的安装原理、产品包制作等内容，本篇就延续之前的内容，和大家展开聊聊 ChengYing 产品线部署相关的设计。帮助对「一站式全自动化全生命周期大数据平台运维管家 ChengYing」感兴趣的开发者更好地了解和使用 ChengYing。产品线部署简介首先对 ChengYing 的产品线部署进行一个“自我介绍”，共分为三个部分：● 支持用户自定义

4月20日，袋鼠云成功举行了以“数实融合，韧性生长”为主题的2023春季生长大会。会上，袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级，并重点发布了企业级数据计算与存储平台——自研大数据引擎 EasyMR。今年的集体学习会议上强调：“要打好科技仪器设备、操作系统和基础软件国产化攻坚战，提

实时同步是 ChunJun 的⼀个重要特性，指在数据同步过程中，数据源与⽬标系统之间的数据传输和更新⼏乎在同⼀时间进⾏。在实时同步场景中我们更加关注源端，当源系统中的数据发⽣变化时，这些变化会⽴即传输并应⽤到⽬标系统，以保证两个系统中的数据保持⼀致。这个特性需要作业运⾏过程中 source 插件不间断地频繁访问源端。在⽣产场景下，对于这类⻓时间运⾏、资源可预估、需要稳定性的作业，我们推荐使⽤ pe

4月20日，以“数实融合，韧性生长”为主题的袋鼠云春季生长大会圆满落幕。在春季生长大会中，袋鼠云带来了数实融合趋势下的最新行业沉淀、最 佳实践经验和行业前瞻性的产品发布。从大数据基础软件“数栈”、到低代码数字孪生世界“易知微”，再到可观测运维专家“云掣”，为广大用户带来了一场场精彩内容，共话数字未来！3部白皮书：方法论到实践完美呈现基于在数字化领域的8年深厚积累与实践服务经验，袋鼠云重磅发布了3部