-
实用五步法教会你指标体系的设计与加工
今天我们来和大家聊一聊一个新话题，一个对于企业业务发展十分关键的东西 —— 指标。指标建设是衡量企业业务效果的主要依据，本文结合自身实践经验和大家分享指标的设计与加工过程，讲述其基础概念和设计加工方法，以及设计加工过程中的注意点，希望对感兴趣的同学有所帮助。一、指标建设的必要性1、什么是指标指标是客观描述某个事物某个特征的可量化的数字度量，如用户最近 30 天购买次数，某商品最近 30 天销售额等
-
他来了！袋鼠云大数据基础平台EasyMR正式上线
7 月 28 日，在袋鼠云 2022 产品发布会上，袋鼠云技术负责人思枢正式宣布旗下产品「大数据基础平台 EasyMR」发布。EasyMR 是袋鼠云自研的大数据基础平台，提供 Hadoop、Hive、Spark、Trino、HBase、Kafka 等组件，完全兼容 Apache 开源生态；支持企业级安全管控，一键开启 LDAP+Kerberos+Ranger 认证权限体系；提供一站式运维管理平台，
-
MapReduce 详解与源码分析
1 Split 阶段在 mapreduce 中的 map task 开始之前，将文件按照指定的大小切割成若干个部分，每一部分称为一个 split，默认是 split 的大小与 block 的大小相等，均为 128MB。split 大小由 minSize、maxSize、blocksize 决定，以 wordcount 代码为例，以下是 main()方法进入waitForCompletion(tru
-
hadoop源码分析
① hadoop-yarn-api主要实现了 clients 和 ResourceManager ，clients 与 HistoryServer，ApplicationMaster 和 ResourceManager，clients 与 SharedCacheManager，ApplicationMaster 与 NodeManager 等组件之间的 RPC 协议。② had
-
YARN 核心源码分析
① hadoop-yarn-api主要实现了 clients 和 ResourceManager ，clients 与 HistoryServer，ApplicationMaster 和 ResourceManager，clients 与 SharedCacheManager，ApplicationMaster 与 NodeManager 等组件之间的 RPC 协议。② had
-
开源直播课丨高效稳定易用的数据集成框架 ——ChunJun 类加载原理与实现
一、直播介绍前几期，我们为大家分享了 ChunJun 的数据还原、Hive 事务表及传输模块的一些内容，本期我们为大家分享 ChunJun 类加载原理与实现。本次直播我们将从 Java 类加载器解决类冲突基本思想、Flink 类加载器隔离的方案、ChunJun 如何实现类加载器隔离及问题排查等方面为大家进行介绍，通过本次分享，希望大家能对类加载相关内容有更进一步的了解。二、直播主题ChunJun
-
hadoop 源码分析HDFS架构演进
HDFS 如何实现有状态的高可用架构HDFS 如何解决单机内存受限问题HDFS 支持亿级流量的密码SecondaryNameNode 作用1.1 HDFS 架构演进之路Hadoop 大版本有三个，Hadoop1、hadoop2、Hadoop3,对应的HDFS 也有三个版本 HDFS1、HDFS2、HDFS3，本文会介绍 三个版本之间的架构区别Namenode 主要是接收客户端的请求和负责元数据管理
-
hbase 的架构分析
hbase 架构分析：大：一个表可以有上亿行，上百万列。面向列：面向列簇的存储和权限控制，列簇独立检索。稀疏：对于空（null）的列，并不占用存储空间，因此，表可以设计的非常稀疏。无模式（no Schema）：每一行都有一个可以排序的主键和任意多的列，列可以根据需要动态增加，同一张表中不同的行可以有截然不同的列。数据多版本：每个单元格中的数据可以有多个版本，默认情况下，版本号自动分配，版本号就是单
-
ChunJun&OceanBase联合方案首次发布：构建一体化数据集成方案
8 月 27 日，ChunJun 社区与 OceanBase 社区联合组织的开源线下 Meetup 成功举办，会上重磅发布了「OceanBase&ChunJun：构建一体化数据集成方案」。这是 OceanBase&ChunJun 联合解决方案的首次发布，将针对分库分表的实时数据集成、跨集群 / 租户的数据集成、不同数据源的实时数据集成、日志类型数据的全增量一体化处理等诸多场景，提供
-
开源交流丨任务 or 实例 详解大数据 DAG 调度系统 Taier 任务调度
课件获取：关注公众号 “数栈研习社”，后台私信 “Taier” 获得直播课件视频回放：点击这里ChunJun 开源项目地址：github 丨 gitee 喜欢我们的项目给我们点个__ STAR！STAR！！STAR！！！（重要的事情说三遍）__技术交流钉钉 qun：30537511前言在分享之前，先为大家介绍一下任务和实例的关系。任务指的是我们在任务开发界面上去创建的
-
开源交流丨一站式大数据平台运维管家ChengYing安装原理剖析
本期我们带大家回顾一下漫路同学的直播分享《ChengYing 安装原理剖析》。本期内容多为实战演示，欢迎有兴趣的同学去 B 站配合视频观看，便于理解。一、ChengYing 安装原理ChengYing 安装主要分为下面八个模块的内容，下面为大家介绍一下每个模块主要能做的事情：1、主机编排一个组件包里面有很多服务，指定服务安装到哪些主机。2、冲突校验根据组件包之间的依赖关系，校验编排结果是否符合部署
-
终于有人把不同标签的加工内容与落库讲明白了丨DTVision分析洞察篇
上一篇文章详细给大家介绍了标签的设计与加工，在标签生命周期流程中，标签体系设计完成后，便进入标签加工与上线运行阶段，一般来说数据开发团队会主导此过程，但我们需要关心以下几个问题：・标签如何快速创建和实现标签逻辑的在线化管理・业务人员怎么参与到标签建设流程中・百万级别的标签如何落表一、加工方式：传统 VS 在线当企业无标签系统时，一般由数据开发在离线数仓中完成标签的加工和运行，运营或市场同学需要某个
-
ChunJun Meetup演讲分享 | 基于袋鼠云开源框架的数仓一体化建设探索
8 月 27 日，ChunJun 社区联合 OceanBase 社区举办开源线下 Meetup，围绕「构建新型的企业级数仓解决方案」主题，多位技术大牛和现场爱好者汇聚一堂，畅所欲言。会上，袋鼠云大数据引擎开发专家莫问精心准备了一场主题为「袋鼠云开源框架基于数仓的一体化建设探索」的分享，通过 “如何围绕数仓一体化建设进行探索”，“引进开源框架后如何解决建设难题”、“开源框架能够带来的收益” 三个开发
-
袋鼠云产品功能更新报告01期丨用诚心倾听您的需求
作为一家以 “客户第一” 为价值观的公司，袋鼠云一直以来关注客户体验，专注提升产品品质，不断收集客户反馈，持续增加新功能并不断优化旧功能，为用户输出最佳产品使用体验。2022 年上半年，我们新增了许多重要功能，并进行了若干细节更新，然后整理了这份产品优化报告，在此与您分享，欢迎您提出宝贵建议。那么究竟具体迭代优化了哪些内容呢？下面就给大家一一进行介绍。数栈 DTinsight1、数据安全集成 Ra
-
开源公开课丨 ChengYing 安装原理剖析
一、直播介绍之前的内容，我们为大家分享了 ChengYing 入门介绍，以及 ChengYing 部署 Hadoop 集群实战，本期我们为大家分享 ChengYing 安装原理。本次直播我们将详细介绍 ChengYing 安装原理及卸载原理，以及其中会遇到的常见问题剖析，通过本次分享，希望大家能对 ChengYing 有更进一步的了解。二、直播主题ChunJun 安装原理剖析三、直播时间时间：20
-
开源交流丨批流一体数据集成框架 ChunJun 数据传输模块详解分享
课件获取：关注公众号 “数栈研习社”，后台私信 “Taier” 获得直播课件视频回放：点击这里ChunJun 开源项目地址：github 丨 gitee 喜欢我们的项目给我们点个__ STAR！STAR！！STAR！！！（重要的事情说三遍）__技术交流钉钉 qun：30537511前言在分享之前，先为大家介绍一下任务和实例的关系。任务指的是我们在任务开发界面上去创建的
-
副业刚需时代你有B计划吗
我是卢松松，点点上面的头像，欢迎关注我哦!听过一句很扎心的话：2021年什么人最难过?答案是没钱的人。于是你会发现身边越来越多的人开始做网络兼职或副业，朋友圈每天被各种淘宝客、微商、代购的卖货广告霸屏，就连N年不联系的老同学也开始向Bingo推销母婴用品。 在这个副业刚需全民创业的时代，人人都想拥有自己的赚钱第二春。于是很多人把目光投向了互
-
从 Multirepo 到 Monorepo 袋鼠云数栈前端研发效率提升探索之路
一、困境频生 前端代码管理何解？前端代码管理一直是困扰不少前端开发团队的难题，从开发到发布的整体工作流程中，除了常规的技术问题外，往往还伴随着沟通成本、维护成本及协作效率等问题。这些问题在团队规模较小的时候可能不太明显，但是当团队规模变大时就矛盾越发凸显。数栈前端开发团队负责着离线开发，实时开发，数据服务等多条产品线的开发和维护工作，面对众多的产品线，如何合理的管理代码，成了团队需要思考的问题，虽
-
OceanBase&ChunJun 联合 Meetup 丨邀您齐聚杭州，共享开源盛会
ChunJun 社区的开发者们请您查收一份来自杭州的邀请函8 月 27 日下午 14:00-17:00杭州・方远海智中心 8 号楼ChunJun 将联合 OceanBase 举办线下 Meetup《构建新型的企业级数仓解决方案》邀请您一起共享开源盛会仅限 50 个席位 机会不容错过！让我们一起探讨开源框架体系下，如何构建新型的企业级数仓解决方案，更有 OceanBase&Chu
-
袋鼠云思枢：数栈DTinsight，创新升级，全新出发，驶入数智转型新赛道
在 7 月 28 日的袋鼠云 2022 产品发布会上，基于对现在与未来的畅想，袋鼠云产研负责人思枢正式发布了全新的四大产品体系。其中的数栈 DTinsight，相信大家都很熟悉了，不同于数驹这位新朋友，数栈作为袋鼠云和大家经常见面的 “老朋友”，在保持初心的同时，这次也有了一些不一样的变化。作为袋鼠云打造的一站式大数据开发与治理平台 —— 数栈 DTinsight，包括离线数据开发、实时数据开发、
