巧用指标平台DataIndex,五步法轻松实现指标管理
在业务发展初期,企业需要做好规范的指标管理,以保证随着业务的不断发展,数据化决策能够成为业务强有力的支撑。本文将为大家详解如何通过袋鼠云指标管理平台DataIndex 进行规范化的指标开发管理,轻松开发指标,避免各类指标问题。
直播预约丨《实时湖仓实践五讲》第二讲:实时湖仓功能架构设计与落地实战
如今,大规模、高时效、智能化数据处理已是“刚需”,企业需要更强大的数据平台,来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战,湖仓一体方案应运而生。《实时湖仓实践五讲》是袋鼠云打造的系列直播活动,将围绕实时湖仓的建设趋势和通用问题,邀请奋战于企业数字化一线的核心产品&技术专家,结合实践案例分析,和听众共同探讨实时湖仓领域的前沿技术。《实时湖仓实践五讲》第二讲——《实时
袋鼠云代码检查服务,揭秘高质量代码背后的秘密
质量是产品的生命线,代码检查是软件开发过程中至关重要的一环,它可以帮助我们发现并纠正潜在的错误,提高软件质量,降低维护成本。在袋鼠云产品中也存在这个问题,由于离线数据开发人员 SQL 水平不一,导致代码书写混乱、SQL 代码运行问题较多。本文将介绍在离线产品中如何利用 SQL 检查规则规范化 SQL 代码,对代码书写问题进行拦截,便于统一管理,用于预防引入需要治理的问题。通过本文的介绍,我们希望您
频频刷屏朋友圈,白酒如何越来越年轻化?来聊聊白酒企业数字化
最近,某白酒品牌频频吸引大众眼球,白酒与咖啡、巧克力等联名衍生品一经推出便掀起热潮。某商品由于太过火爆,甚至一度售罄下架。不得不说,我国拥有超大规模内需市场,消费潜力巨大。当前,创新消费场景加上数字化融合转型,成为酒企品牌开疆扩土、逆势增长的重要途径。如今越来越多的酒企开始拥抱数字化,建立涵盖白酒品系开发、酒体设计、基地建设、白酒生产运营、营销等环节的数字化体系,实现全链路数字化,提高产品质量及市
揭秘 ChunJun:如何实现 e2e&session 日志隔离
本文将从 e2e 的基本介绍,e2e 的使用与扩展,session 日志隔离三个维度为大家带来 ChunJun e2e & session 日志隔离的分享。大量具体代码和演示请看视频教程⬇️视频课程:https://www.bilibili.com/video/BV1ru411P7oZ/?spm_id_from=333.999.0.0课件获取:https://www.dtstack.com
一文了解袋鼠云在实时数据湖上的探索与实践
近日,袋鼠云大数据引擎专家郝卫亮,为大家带来了《袋鼠云在实时数据湖上的探索与实践》主题分享,帮助大家能了解到什么是实时数据湖、如何进行数据湖选型及数据平台建设数据湖的经验。如今,大规模、高时效、智能化数据处理已是“刚需”,企业需要更强大的数据处理能力,来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战。因此,袋鼠云基于自研的一站式大数据基础软件——数栈提出相应的实时数据湖解决方
@全体开发者们,ChunJun 有奖征文,精美奖品,快来参加!
2022年4月,在 FlinkX 进行初版开源的整整四年后,技术团队决定对FlinkX进行整体升级,并更名为 ChunJun。到目前为止,ChunJun 正式更名上线已经过了一年多了。作为一款稳定、易⽤、⾼效、批流⼀体的数据集成框架,相信各位关注着、喜爱着、使用着 ChunJun 的开发者们在过去的这段日子里肯定和 ChunJun 发生了众多有趣的故事。本着促进社区活跃,倾听用户诉求的目的,我们将
“数据驱动”时代,企业为什么需要实时湖仓?
随着业务对数据时效性要求的提高,许多企业的实时任务体量,正在逐步接近存量离线任务。实时湖仓解决方案,利用湖存储的特性和 Flink 的流批计算能力,统一存储和计算,无疑会是企业当前最优的选择。
大数据计算引擎 EasyMR 如何简单高效管理 Yarn 资源队列
在Yarn框架中,资源调度是十分重要的内容,EasyMR出于简单高效原则,开放了资源队列管理功能。本文就为大家详细介绍大数据计算引擎 EasyMR 是如何简单高效管理 Yarn 资源队列的。
直播预约丨《实时湖仓实践五讲》第一讲:企业为什么需要实时湖仓?
如今,大规模、高时效、智能化数据处理已是“刚需”,企业需要更强大的数据平台,来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战,湖仓一体方案应运而生。《实时湖仓实践五讲》是袋鼠云打造的系列直播活动,将围绕实时湖仓的建设趋势和通用问题,邀请奋战于企业数字化一线的核心产品&技术专家,结合实践案例分析,和听众共同探讨实时湖仓领域的前沿技术。*《实时湖仓实践五讲》第一讲——《企
大型集团企业数据治理方案,以“应用驱动”的数据治理策略 | 行业方案
数据治理是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。通过搭建大数据平台,实现对业务系统数据的采集、清理、建模、整合,建立一个符合业务需求的数据决策平台,形成企业数字化转型关键能力,支撑数据赋能业务价值,最终推动组织及管理升级,实现数字化转型。以某拥有多元主业的综合型产业集团为例,该集团众多业务板块的信息化建设各自发展,系统相对独立,数据尚未实现归集交换共享,业务协同联动缺少
前端开发进阶:前端开发中如何高效渲染大数据量?
本文通过分享一个实际场景中的前端开发思路,介绍当遇到大量数据时,如何实现高效的数据渲染,以达到提升页面性能和用户体验的目的。
分布式可视化 DAG 任务调度系统 Taier 的整体流程分析
Taier 作为袋鼠云的开源项目之一,是一个分布式可视化的 DAG 任务调度系统。旨在降低 ETL 开发成本,提高大数据平台稳定性,让大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。本文将从 Taier 的流程简述、结构分析以及可扩展点三个方面对 Taier 的整体流程进行分析探讨。Taier
基金公司数据治理实践,打造“点线面体”的数据治理体系
在数字经济时代下,数据驱动业务创新发展已经成为企业的主要选择,基金行业机构也在积极推进数字化转型,但机遇与挑战并存。数据要转化为数据要素,需要系统体系化的数据能力建设作为催化剂。基金行业也表现出一定的痛点,其中表现为数据安全保护不够到位,缺少数据脉络,数据质量得不到保障等。同时由于行业内在进行系统建设时,对数据管理工作的重要性认识不足以及长年累月杂乱数据的堆积,导致数据治理工作推进艰难,致使在营销
袋鼠云数栈 DataOps 数据生产力实践,实现数据流程的自动化和规范化
袋鼠云产品团队在帮助企业进行数字化转型实践的过程中,发现很多企业在数据生产链路上都有着相同的问题。包括数据团队聚焦于业务需求短期内的快速交付,内部缺少自顶向下的数据生产管理制度,在数据标准、数据生产流程到研发规范的各个层面均存在不完善与不规范之处;很多环节依赖人工操作,团队协作效率低,业务需求影响慢,存在大量的重复数据建设;先开发后治理的模式也往往导致历史债越来越沉重。数字化转型实践走在前列的企业
直击运维痛点,大数据计算引擎 EasyMR 的监控告警设计优化之路
当企业的业务发展到一定的阶段时,在系统中引入监控告警系统来对系统/业务进行监控是必备的流程。没有监控或者没有一个好的监控,会导致开发人员无法快速判断系统是否健康;告警的实质则是“把人当服务用”,用告警通知人的方式去干预系统达到修正的目的。监控告警在企业保障系统的稳定性和事故快速恢复的全周期链路中都是至关重要的一环。在新版本的 EasyMR 中袋鼠云开发团队也对监控告警功能进行了全新的优化,通过本文
证券机构数据治理实践,实现数据的“管、 治、用”
2016年证监会《证券公司全面风险管理规范》提出建立健全数据治理和质量控制机制。2018年证监会发布《证券数据治理操作指引(征求意见稿)》及《证券期货业数据分类分级指引》。同年,国家工信部发布DCMM数据管理能力成熟度评估模型,提炼组织数据管理的八大过程域,将数据能力成熟度划分5个发展等级,帮助进行评价。2022年,《证券期货业科技发展“十四五”规划》《金融标准化“十四五”发展规划》的相继发布,以
高性能、高扩展、高稳定:解读 EasyMR 大数据组件自定义可扩展能力
袋鼠云自主研发的大数据计算引擎EasyMR 的产品包自定义可扩展能力,为企业提供了定制化大数据中台的新途径,具有丰富性、灵活性、可扩展性和稳定性等价值,为企业带来更准确的洞察和决策,赢得竞争优势。
揭秘|来看看袋鼠云数栈内部的资产血缘方案设计与实现
本文聚焦资产血缘的实现方案,并介绍袋鼠云数栈在数据血缘建设过程中所遇到的挑战和技术实现,想了解数据资产和数据血缘的朋友不要错过~
银行机构数据治理案例解读,构建全行数据资产体系
近年来,随着信息化、数字化、智能化的快速发展,数据从资源逐渐转变为资产。金融行业具有海量数据资源和丰富应用场景优势,在企业经营管理、产品研发、技术创新等关键环节中发挥着重要作用。数据治理作为释放数据价值的基础,在推动银行数字化转型的过程中扮演了“承上启下”的关键角色。通过数据治理咨询,结合数据平台建设和数据应用实施,构建科学的组织架构体系,完善数据治理流程制度与规范,建立数字化协同机制,整合并打通