ITPub博客

身处数字经济时代，随着大数据应用越来越广泛，越来越多的企业和组织开始关注大数据基础平台的建设和运营。在认识到其的重要性之后，如何具体着手搭建或采购大数据基础平台成为下一步需要解决的问题。在大数据基础平台中，大数据组件是非常重要的一部分，包括数据存储、数据处理、数据分析、数据可视化等。在选择大数据组件时，我们常常在闭源组件和开源组件选择中反复纠结。本文将从优势、劣势两个维度分析开源组件、闭源组件对大

大资管包括原银保监监管下的银行理财、信托、保险，原证监会监管下的公募基金、私募基金专户及基金子公司、券商资管以及期货资管。据统计，2022年底资管行业的资产管理规模也达到了136万亿元。在《商业银行理财业务监督管理办法》《关于规范金融机构资产管理业务的指导意见》等理财新规、资管新规的要求下，大资管行业结构持续优化，通过打破刚兑、去除通道、净值管理、禁止错配、禁资金池、限额管理、净资本管理等措施，存

数据湖作为新一代大数据基础设施，近年来持续火热，许多前线的同学都在讨论数据湖应该怎么建，许多企业也都在构建或者计划构建自己的数据湖。基于此，自然引发了许多关于数据湖选型的讨论和探究。但是经过搜索之后我们发现，网上现存的很多内容都是基于较早之前的开源信息做出的结论，在企业调研初期容易造成不准确的印象和理解。因此带着这样的问题，我们计划推出数据湖选型系列文章，基于最新的开源信息，从升级数据湖架构的几个

日前，“2022年中国开源创新大赛”初赛晋级名单公布，易用、稳定、高效的批流统一的数据集成框架 ChunJun 顺利晋级决赛，并荣获“2022年中国开源创新大赛优秀开源项目/社区”奖项。感谢组委会专家的认可，ChunJun也将继续秉承技术初心，砥砺前行，不遗余力地助力国内开源发展，为更多的开发者传播最新开源与技术信息。“2022年中国开源创新大赛”在中央网信办信息化发展局的指导下，由中国互联网发展

我们今天常说的大数据技术，它的理论基础来自于2003年 Google 发表的三篇论文，《The Google File System》、《MapReduce: Simplified Data Processing on Large Clusters》、《Bigtable: A Distributed Storage System for Structured Data》。这三篇论文分别对应后来出现

更好地提高效率一直以来是袋鼠云数栈产品的主要目标之一。当前数栈客户的实时任务都是基于 Per-Job 模式运行的，客户在进行一些任务参数的修改之后，只能先取消当前任务，再选择 CheckPoint 恢复或者重新运行，整个过程需要3-5分钟，比较浪费时间。为了达到提高效率的目的，我们针对 Per-Job 任务的整体流程分析，进行了相关探索。下文和大家聊聊数栈在热重启技术方面的探索之路。热重启是什么？

在《商业银行理财业务监督管理办法》《关于规范金融机构资产管理业务的指导意见》等理财新规、资管新规的要求下，大资管行业结构持续优化，存量金融风险明显收敛。此外，也促使资管行业在产品、风险、投研、客户、营销、管理、服务等各个层面加速数字化转型。 本期DTALK我们邀请到袋鼠云金融行业解决方案专家 范云浩，为大家带来《从资管新规到数据治理，深度解析大资管行业数字化转型》。报名链接：https://fs8

数据治理是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。通过全链数据结构化，实现业务对象、业务规则、业务流程数字化，推进全链业务深度数字化，夯实数据运营底座。厦门国贸集团股份有限公司（简称“国贸股份”）是国有控股上市公司，同时也是首批全国供应链创新与应用示范企业，在“十四五”规划期内以聚焦供应链管理核心主业作为主要战略发展方向。供应链运营管理以大宗商品贸易为主，其交易往往具有交

亲爱的社区小伙伴们，历时数月，我们很高兴地宣布，ChunJun 即将迎来 1.16 Release 版本的正式发布。在新版本中，ChunJun 新增了一批常用功能，进行了多项功能优化和问题修复，并在用户使用体验上进行了极大地改善。有17位Contributor 为 ChunJun 提交了多项优化和修复，感谢因为有你们才让 ChunJun 变得更好！ChunJun 1.16 版本目前已经发布到mas

如今，各行各业都已经意识到了数据的价值，开始沉淀数据资产，挖掘数据价值，但是数据本身其实是很难直观地看到其价值的。数据就是存储在计算机系统的“01”代码，如果你不去用它，能有什么价值？正如美国哈佛大学教授格林先生所说：数据本身并不等于知识，更不是智慧，只有经过正确分析之后，数据才能凸显它的意义。在标签体系对外推广实践的过程中，我们也经常会遇到客户提问：辛苦完成标签体系的开发与落库后，该如何使用这些

在当前的数字化转型浪潮下，“基础设施、配套设备、应用探索”的数字校园1.0阶段即将步入尾声、亦或已经完结，不同地区和类型的高校通过各类信息化系统和基础设施已经初步实现了业务数字化，整个数字校园的信息基础设施底座已有一定基础、信息时代教育治理新模式正在逐步呈现、信息技术支持科研创新初见成效。接下来，数字校园2.0阶段需要通过数据价值挖掘实现数据业务化，实现数字技术应用于教学，到技术与教育教学深度融合

新的一年我们加紧了更新迭代的速度，增加了数据湖平台EasyLake和大数据基础平台EasyMR，超40项功能升级优化。我们将继续保持产品升级节奏，满足不同行业用户的更多需求，为用户带来极致的产品使用体验。以下为袋鼠云产品功能更新报告第四期内容，更多探索，请继续阅读。数据湖平台1.【元数据管理】Catalog创建在【元数据管理】页创建一个Catalog，填写Catalog名称、Hive MetaSt

2022 是 ChunJun在技术长廊中探索和成长的第四个年头，悄然度过了自己的 “孩提 “时光。2022，我们相继完成了核心数据还原功能框架、数据还原支持中间处理/DDL自动转换、框架支持全量增量实时同步等功能。目的只有一个：「希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架」。 现在，让我们倒带 2022，展望2023，和一直以来关注ChunJun开源社区的朋友聊聊过去、未来……

数据治理是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。沉淀了丰富的集团型企业数据治理项目经验，助力客户构建全域数据共享中心，实现数字化升级。

袋鼠云数栈UI5.0焕新升级，并带来数栈独有的全新设计语言「DT Design」，打造更高效、愉悦的使用体验。本文就为大家从产品升级策划、确⽴设计⽬标和解决⽅向、数栈设计语⾔、设计提升点、情感化设计五个⽅⾯全面分享解析数栈 DTinsight UI 5.0 的全新设计升级内容，干货满满，不容错过！

Taier 介绍Taier 是袋鼠云开源项目之一，是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本、提高大数据平台稳定性，大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。项目地址：https://github.com/DTStack/TaierTaier 资源判断Taier 基于

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite，理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中都发现关于Calcite的实践案例其实很少，本文就将为大家详细介绍如何基于Calcite框架的SQL语法扩展探索使之更符合你的业务需求，以及

金融业天然就是一个经营数据的行业，一直对数字技术保持高度重视，是数字化转型最早和数字技术应用最广的行业之一。在金融和技术融合过程中，数据治理是关键。当前金融数据治理已由过去局部数据管理，发展到统筹数据整合、智能应用、数据驱动决策和数据开放融合，这对金融数据治理提出了更高的要求，也带来新的挑战。本期DTALK我们邀请到金融行业嘉宾——大型金融机构信息部负责人 李霏帆，为大家带来《金融机构数据治理实践

年底啦～2022年即将走到尾声，不过袋鼠云对产品品质的坚持始终如一，这段时间我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化，例如新增任务告警，进行了Connector相关功能优化，以及支持跨时间分区圈群等。以下为袋鼠云产品功能更新报告第三期内容，更多探索，请继续查阅。离线开发平台1.任务诊断用户痛点：任务一直在等待提交或者等待运行，用户看不到原因，不知道该如何处理能让任务尽快跑起来；任