ITPub博客

我们很高兴向大家宣布，2023年4月14日，Taier 正式发布 1.4 版本。自2022年2月份 Taier 正式开源以来，收到了很多开发者和行业用户的积极评价，在诸多生产环境中已得到充分应用。Taier 1.4版本正是吸收了各类实践经验及大家的建议，进行了此次迭代优化。本次更新不仅包含了性能优化和稳定性的提升，还新增了各类任务类型、完善大量任务功能，优化使用场景，持续增强开源产品化技术能力和应

如今，数字经济正逐步走向深化应用、规范发展、普惠共享的新阶段，数字经济与实体经济深度融合、基础软件国产化替代成为数字时代主潮流。数字工具如何让千行百业共同实现韧性生长？「 2023 袋鼠云春季生长大会」乘风而起，带来数实融合趋势下的产品焕新升级剖析、前瞻行业视觉解读、最/佳数字实践分享，助力各大产业实现数智化转型升级！点击预约：https://fs80.cn/v23npd《数据治理行业实践白皮书》

回顾大数据的发展历程，一句话概括就是海量数据的高效处理。在当今快节奏、不断变化的市场环境下，优秀的开发效率已经成为企业数字化转型的必备条件。数栈离线开发BatchWorks 是一款专注离线数据ELT开发的产品，采用先进的大数据生态底层技术，具备高性能且功能丰富的大数据处理能力，对大数据离线计算、数据仓库建设提供有效支撑，是企业建设数据中台、数据仓库，加速数字化转型的基础设施。BatchWorks

我们知道 Flink 有Table（表）、View（视图）、Function（函数/算子）、Database（数据库）的概念，相对于这些耳熟能详的概念，Flink 里还有一个 Catalog（目录） 的概念。本文将为大家带来 Flink Catalog 的介绍以及 Flink Catalog 在 ChunJun 中的实践之路。Flink Catalog 简介Catalog 提供元数据，如数据库、表

当前，数据对金融机构业务和发展的重要性日益凸显，释放数据生产力已经成为金融机构进行全面数字化转型的核心，这就要求金融机构以数据资产为纲不断提升自身数据资产管理能力。本期DTALK我们邀请到雅拓信息解决方案专家 尹晓中，为大家带来《数据资产管理——金融机构数据价值释放的必经之路》。分享大纲剧透：一、数据资产是金融机构数字化转型和数据价值释放的必经之路金融机构用数历程、数字化转型目标以及数据资产在其中

日常生产中 HDFS 上小文件产生是一个很正常的事情，同时小文件也是 Hadoop 集群运维中的常见挑战，尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位，包含全部表和项目的相关信息，可以对表做相关的权限管理和脱敏管理操作，以及可以展示对应项目占用情况和其表的占用情况。数据地图可以帮助用户更好地查找、理解和使用数据。本文将结合两者，和大家聊聊数据地图中的小文件治理应该

ChunJun 是一款稳定、易用、高效、批流一体的数据集成框架，⽀持海量数据的同步与计算。ChunJun 既可以采集静态的数据，比如 MySQL，HDFS 等，也可以采集实时变化的数据，比如 binlog，Kafka 等。同时 ChunJun 也是一个支持原生 FlinkSQL 所有语法和特性的计算框架。经过5年的迭代和开发，ChunJun 已经帮助很多公司快速进行数据整合，并解决数据开发人员需要

身处数字经济时代，随着大数据应用越来越广泛，越来越多的企业和组织开始关注大数据基础平台的建设和运营。在认识到其的重要性之后，如何具体着手搭建或采购大数据基础平台成为下一步需要解决的问题。在大数据基础平台中，大数据组件是非常重要的一部分，包括数据存储、数据处理、数据分析、数据可视化等。在选择大数据组件时，我们常常在闭源组件和开源组件选择中反复纠结。本文将从优势、劣势两个维度分析开源组件、闭源组件对大

大资管包括原银保监监管下的银行理财、信托、保险，原证监会监管下的公募基金、私募基金专户及基金子公司、券商资管以及期货资管。据统计，2022年底资管行业的资产管理规模也达到了136万亿元。在《商业银行理财业务监督管理办法》《关于规范金融机构资产管理业务的指导意见》等理财新规、资管新规的要求下，大资管行业结构持续优化，通过打破刚兑、去除通道、净值管理、禁止错配、禁资金池、限额管理、净资本管理等措施，存

数据湖作为新一代大数据基础设施，近年来持续火热，许多前线的同学都在讨论数据湖应该怎么建，许多企业也都在构建或者计划构建自己的数据湖。基于此，自然引发了许多关于数据湖选型的讨论和探究。但是经过搜索之后我们发现，网上现存的很多内容都是基于较早之前的开源信息做出的结论，在企业调研初期容易造成不准确的印象和理解。因此带着这样的问题，我们计划推出数据湖选型系列文章，基于最新的开源信息，从升级数据湖架构的几个

日前，“2022年中国开源创新大赛”初赛晋级名单公布，易用、稳定、高效的批流统一的数据集成框架 ChunJun 顺利晋级决赛，并荣获“2022年中国开源创新大赛优秀开源项目/社区”奖项。感谢组委会专家的认可，ChunJun也将继续秉承技术初心，砥砺前行，不遗余力地助力国内开源发展，为更多的开发者传播最新开源与技术信息。“2022年中国开源创新大赛”在中央网信办信息化发展局的指导下，由中国互联网发展

我们今天常说的大数据技术，它的理论基础来自于2003年 Google 发表的三篇论文，《The Google File System》、《MapReduce: Simplified Data Processing on Large Clusters》、《Bigtable: A Distributed Storage System for Structured Data》。这三篇论文分别对应后来出现

更好地提高效率一直以来是袋鼠云数栈产品的主要目标之一。当前数栈客户的实时任务都是基于 Per-Job 模式运行的，客户在进行一些任务参数的修改之后，只能先取消当前任务，再选择 CheckPoint 恢复或者重新运行，整个过程需要3-5分钟，比较浪费时间。为了达到提高效率的目的，我们针对 Per-Job 任务的整体流程分析，进行了相关探索。下文和大家聊聊数栈在热重启技术方面的探索之路。热重启是什么？

在《商业银行理财业务监督管理办法》《关于规范金融机构资产管理业务的指导意见》等理财新规、资管新规的要求下，大资管行业结构持续优化，存量金融风险明显收敛。此外，也促使资管行业在产品、风险、投研、客户、营销、管理、服务等各个层面加速数字化转型。 本期DTALK我们邀请到袋鼠云金融行业解决方案专家 范云浩，为大家带来《从资管新规到数据治理，深度解析大资管行业数字化转型》。报名链接：https://fs8

数据治理是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。通过全链数据结构化，实现业务对象、业务规则、业务流程数字化，推进全链业务深度数字化，夯实数据运营底座。厦门国贸集团股份有限公司（简称“国贸股份”）是国有控股上市公司，同时也是首批全国供应链创新与应用示范企业，在“十四五”规划期内以聚焦供应链管理核心主业作为主要战略发展方向。供应链运营管理以大宗商品贸易为主，其交易往往具有交

亲爱的社区小伙伴们，历时数月，我们很高兴地宣布，ChunJun 即将迎来 1.16 Release 版本的正式发布。在新版本中，ChunJun 新增了一批常用功能，进行了多项功能优化和问题修复，并在用户使用体验上进行了极大地改善。有17位Contributor 为 ChunJun 提交了多项优化和修复，感谢因为有你们才让 ChunJun 变得更好！ChunJun 1.16 版本目前已经发布到mas

如今，各行各业都已经意识到了数据的价值，开始沉淀数据资产，挖掘数据价值，但是数据本身其实是很难直观地看到其价值的。数据就是存储在计算机系统的“01”代码，如果你不去用它，能有什么价值？正如美国哈佛大学教授格林先生所说：数据本身并不等于知识，更不是智慧，只有经过正确分析之后，数据才能凸显它的意义。在标签体系对外推广实践的过程中，我们也经常会遇到客户提问：辛苦完成标签体系的开发与落库后，该如何使用这些

在当前的数字化转型浪潮下，“基础设施、配套设备、应用探索”的数字校园1.0阶段即将步入尾声、亦或已经完结，不同地区和类型的高校通过各类信息化系统和基础设施已经初步实现了业务数字化，整个数字校园的信息基础设施底座已有一定基础、信息时代教育治理新模式正在逐步呈现、信息技术支持科研创新初见成效。接下来，数字校园2.0阶段需要通过数据价值挖掘实现数据业务化，实现数字技术应用于教学，到技术与教育教学深度融合

新的一年我们加紧了更新迭代的速度，增加了数据湖平台EasyLake和大数据基础平台EasyMR，超40项功能升级优化。我们将继续保持产品升级节奏，满足不同行业用户的更多需求，为用户带来极致的产品使用体验。以下为袋鼠云产品功能更新报告第四期内容，更多探索，请继续阅读。数据湖平台1.【元数据管理】Catalog创建在【元数据管理】页创建一个Catalog，填写Catalog名称、Hive MetaSt

2022 是 ChunJun在技术长廊中探索和成长的第四个年头，悄然度过了自己的 “孩提 “时光。2022，我们相继完成了核心数据还原功能框架、数据还原支持中间处理/DDL自动转换、框架支持全量增量实时同步等功能。目的只有一个：「希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架」。 现在，让我们倒带 2022，展望2023，和一直以来关注ChunJun开源社区的朋友聊聊过去、未来……