开源交流丨批流一体数据集成框架ChunJun数据传输模块详解分享
课件获取:关注公众号 “ChunJun”,后台私信 “课件” 获得直播课件视频回放:点击这里ChunJun 开源项目地址:github 丨 gitee 喜欢我们的项目给我们点个__ STAR!STAR!!STAR!!!(重要的事情说三遍)__技术交流钉钉 qun:30537511本期我们带大家回顾一下六六同学的直播分享《ChunJun 数据传输模块介绍》。一、Chun
开源公开课丨大数据调度系统 Taier 任务调度介绍
一、直播介绍前几期,我们为大家分享了 Taier 基本介绍、控制台、Web 前端架构及数据开发介绍,本期我们为大家分享 Taier 任务调度介绍。本次直播我们将从 Taier 的任务调度实例生成、调度及提交等方面为大家进行介绍,通过本次分享,希望大家能对 Taier 有更进一步的了解。二、直播主题Taier 任务调度介绍三、直播时间时间:2022 年 8 月 23 日晚 19:00--20:00(
Hi,我是ChunJun,一个有趣好用的开源项目
Hi,我是 ChunJun,一个有趣好用的开源项目。今天我们正式开通了自己的公众号!欢迎大家关注~数字经济时代,各行各业数字化转型大趋势下,数据要素成为关键。海量多源异构数据汇聚,使得数据同步面临同步速率受限、稳定性差、维护成本高等挑战。批流一体的数据集成框架 ChunJun,沉淀了团队六年来在数据同步和集成方面的实践经验,秉承易用、稳定、高效的目标,满足更多用户对新型数据集成管理需求的响应。Ch
开源公开课丨 ChunJun 数据传输模块介绍
一、直播介绍之前的内容,我们为大家分享了 ChunJun 数据还原的 DDL 模块,以及 ChunJun 同步 Hive 事务表,本期我们为大家分享 ChunJun 数据传输模块介绍。本次直播我们将从 ChunJun 数据类型转换,到数据传输过程以及 ChunJun 的序列化实现为大家进行详细讲解,通过本次分享,希望大家能对 ChunJun 有更进一步的了解。二、直播主题ChunJun 数据传输模
Linux部署hadoop2.7.7集群
在CentOS7环境下,hadoop2.7.7集群部署的实战
开源项目丨一文详解一站式大数据平台运维管家 ChengYing 如何部署 Hadoop 集群
课件获取:关注公众号 “数栈研习社”,后台私信 “ChengYing” 获得直播课件视频回放:点击这里ChengYing 开源项目地址:github 丨 gitee 喜欢我们的项目给我们点个__ STAR!STAR!!STAR!!!(重要的事情说三遍)__技术交流钉钉 qun:30537511本期我们带大家回顾一下海洋同学的直播分享《ChengYing 部署 Hado
袋鼠云申杭:数雁 EasyDigit,致力成为金融行业数据洞察平台供应商的 “领头雁”
7 月 28 日,以 “数智进化,现在即未来” 为主题的袋鼠云 2022 产品发布会于线上正式开幕。发布会上,袋鼠云宣布将集团进行全新升级:从 “数字化基础设施供应商”,升级为 “全链路数字化技术与服务提供商”,并发布了全新的四大产品体系:数据智能分析与洞察平台 “数雁 EasyDigit”、低代码数字孪生平台 EasyV、一站式大数据开发与治理平台 “数栈 DTinsight” 和极速湖仓引擎
从洞察到决策,一文解读标签画像体系建设方法论丨DTVision分析洞察篇
一、数字营销是数字化转型排头兵《⼗四五数字经济发展规划》中强调,要⼤⼒推进数字化转型,形成数据驱动的智能决策能⼒,提升企业整体运营效率。要做好数字化转型,企业可从产、研、供、销、⽤等多个环节入手,而 “销” 恰好是第一关键要素,企业转型往往从营销场景入手,因此我们说数字化营销是企业数字化转型的排头兵。在数字化营销转型过程中,由于各个企业的数字化建设进程不同,往往会遇到多种挑战,如:・企业数据如何打
想要精准营销,从学习搭建一套对的标签体系开始丨 DTVision 分析洞察篇
在人与人打交道的过程中,我们会在有意无意间给周围的人通过贴标签的方式进行大致的判断,比如好说话的、难相处的、聪明的、爱热闹的…… 贴标签就是用最快的速度将人和事归类,这是人类运用 “模式识别” 认识世界、进行社会交往最便捷的方式之一。而在企业的数字化转型过程中,搭建标签体系也早已不是什么神秘的事情。在数字经济时代的今天,各行各业都早已意识到了数据的重要性,开始挖掘数据的价值。标签体系,正是将数据承
袋鼠云思枢:数驹DTengine,助力企业构建高效的流批一体数据湖计算平台
7 月 28 日,以 “数智进化,现在即未来” 为主题的袋鼠云 2022 产品发布会于线上正式开幕。发布会上,袋鼠云宣布将集团进行全新升级:从 “数字化基础设施供应商”,升级为 “全链路数字化技术与服务提供商”,并由袋鼠云产研负责人思枢对外正式发布了全新的四大产品体系:数据智能分析与洞察平台 “数雁 EasyDigit”、低代码数字孪生平台 EasyV、一站式大数据开发与治理平台 “数栈 DTin
if 判断使用
left 使用对应的连接,搞懂这个关联表吧。1.2 IF-THEN-ELSE组合语法格式如下:IF condition THEN ... TRUE sequence of executeable statements ... ELSE &
开源项目丨Taier1.2版本发布,新增工作流、租户绑定简化等多项功能
2022 年 7 月 26 日,Taier1.2 版本正式发布!本次版本发布更新功能:新增工作流新增 OceanBase SQL新增 Flink jar 任务数据同步、实时采集支持脏数据管理Hive UDF控制台 UI 升级租户绑定简化新版本的使用文档已在社区中推送,大家可以随时下载查阅,欢迎大家体验新版本功能 **(喜欢我们的项目欢迎大家点个 Star)**,体验地址:Github:https:
当我们在聊「开源大数据调度系统Taier」的数据开发功能时,到底在讨论什么?
原文链接:当我们在聊「开源大数据调度系统 Taier」的数据开发功能时,到底在讨论什么?课件获取:关注公众号__ “数栈研习社”,后台私信 “Taier”__ 获得直播课件视频回放:点击这里Taier 开源项目地址:github 丨 gitee 喜欢我们的项目给我们点个__ STAR!STAR!!STAR!!!(重要的事情说三遍)__技术交流钉钉 qun:3
list 集合去重
MapReduceMapReduce是为能够在集群上分布式处理海量数据而量身订做的框架,MapReduce job可以分为三次连续过程。Map 将输入数据划分为key-value集合Shuffle 将Map产生的结果传输给ReduceReduce 则对接收到的key-value进一步处理MapReduce的最大工作单元便是job,每个job又会被分割成map task或reduce task。最经
hadoop命令
1.启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容Hadoopdfs –ls [文件目录]2、打开某个已存在文件hadoop dfs –cat [file_path]3、将本地文件存储至hadoophadoop fs –put [本地地址] [h
hadoop 建表
区别:在删除table的时候,内部表删除Hadoop上的数据,外部表不删除数据$HIVE -e "use ${WIFI}; &
开源交流丨批流一体数据集成工具 ChunJun 同步 Hive 事务表原理详解及实战分享
原文链接:批流一体数据集成工具 ChunJun 同步 Hive 事务表原理详解及实战分享课件获取:关注公众号__ “数栈研习社”,后台私信 “ChengYing”__ 获得直播课件视频回放:点击这里ChengYing 开源项目地址:github 丨 gitee 喜欢我们的项目给我们点个__ STAR!STAR!!STAR!!!(重要的事情说三遍)__技术交流
开源大数据调度系统 Taier 技术公开课 ——Taier 数据开发介绍
一键直达直播间一、直播介绍之前的内容,我们为大家分享了 Taier 入门及控制台,以及 Taier 的 Web 前端架构介绍,本期我们为大家分享 Taier 数据开发介绍。本次直播我们将从 Taier 的数据开发功能介绍,到任务运行、功能可扩展点以及未来将发布的 taier1.2 为大家进行详细讲解,通过本次分享,希望大家能对 Taier 有更进一步的了解。二、直播主题Taier 数据开发介绍三、
hbase region 合并
hbase 跑了很久了。 有些region 已经很久么有请求过来了。 摆在哪里浪费资源,于是执行合并 提上日程。 hbase(main):033:0> merge_region 'e212126c7e24efa00a942603f94858fd','2c186797ddd6e126a4cc426428
MPP与Hadoop,两种主流大数据系统架构有啥区别?
Hadoop架构在数据量较低的情况下,运行速度远不及MPP架构,但数据量一旦超过某个量级,Hadoop架构在吞吐量方面将非常有优势。