-
直播预约丨《实时湖仓实践五讲》第二讲：实时湖仓功能架构设计与落地实战
如今，大规模、高时效、智能化数据处理已是“刚需”，企业需要更强大的数据平台，来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战，湖仓一体方案应运而生。《实时湖仓实践五讲》是袋鼠云打造的系列直播活动，将围绕实时湖仓的建设趋势和通用问题，邀请奋战于企业数字化一线的核心产品&技术专家，结合实践案例分析，和听众共同探讨实时湖仓领域的前沿技术。《实时湖仓实践五讲》第二讲——《实时
-
Yarn的常用命令
命令列表初始化新项目：使用yarn init命令，类似于npm init，通过交互式会话创建一个package.json文件。添加依赖包：使用yarn add [package]命令添加依赖，这会更新package.json以及yarn.lock文件。升级依赖包：使用yarn upgrade [package]命令升级依赖包。移除依赖包：使用yarn remove [package]命令移除依赖包
-
Yarn的调度器
介绍FIFO调度器：这是最简单的调度器，它根据任务提交的先后顺序进行资源分配。由于它不支持多队列，所以在当前强调多租户和资源利用率的环境下，很少有集群采用FIFO调度器。容量调度器：这是Yahoo开发的多用户调度器。它支持多队列，每个队列可以配置一定的资源量，并且每个队列内部采用FIFO调度策略。管理员可以为每个队列设置资源最低保证和资源使用上限。如果一个队列中的资源有剩余，可以暂时共享给那些需要
-
Yarn工作机制
工作机制（1）MR程序提交到客户端所在的节点。（2）YarnRunner向ResourceManager申请一个Application。（3）RM将该应用程序的资源路径返回给YarnRunner。（4）该程序将运行所需资源提交到HDFS上。（5）程序资源提交完毕后，申请运行mrAppMaster。（6）RM将用户的请求初始化成一个Task。（7）其中一个NodeManager领取到Task任务。（
-
Hadoop 数据压缩方式
介绍DEFLATE：Hadoop自带的压缩方式，文件扩展名为.deflate，不支持切片。Gzip：压缩率比较高，而且压缩/解压速度也比较快；Hadoop本身支持，在应用中处理Gzip格式的文件就和直接处理文本一样；大部分Linux系统都自带Gzip命令，使用方便。但是，Gzip不支持切片。bzip2：支持切片；具有很高的压缩率，比Gzip压缩率都高；Hadoop本身自带，使用方便。但是，bzip
-
MongoDB CDC 的设计与实现
介绍全增量一体化读取：MongoDB CDC能够一体化地读取全量数据和增量数据。在启动选项配置为initial模式时，CDC会首先对目标集合进行扫描，并对现存的每一条数据各发送一条Insert记录；快照完成后，CDC会自动转换为增量模式，开始捕获连接器启动后到来的变更数据。支持多种消费模式：MongoDB CDC可以设定为从以下模式中启动：latest模式、initial模式和timestamp模
-
Flink CDC Mysql 启动模式
介绍Flink CDC MySQL Connector的启动模式可以通过参数scan.startup.mode进行配置，主要有以下两种模式：initial：这是默认的启动模式。在首ci启动时，对数据库的表执行初始快照，快照数据读取完成后继续读取binlog数据。这个模式可以得到历史到现在的所有数据。latest-offset：首ci启动时不执行快照，只读取binlog的最新数据。如果需要读取全量的
-
Hadoop ReduceTask工作机制
工作机制Copy阶段：ReduceTask从各个MapTask远程拷贝数据，超过阈值的数据写入磁盘，其余放入内存。Sort阶段：ReduceTask在拷贝数据时启动后台线程合并内存和磁盘文件，防止过多使用。为聚集key相同的数据，ReduceTask对所有数据进行一次归并排序。Reduce阶段：reduce()函数将计算结果写入HDFS。
-
Hadoop maptask 工作机制
工作机制Read阶段：MapTask通过RecordReader解析输入InputSplit中的key/value。Map阶段：用户编写的map()函数处理key/value，生成新的key/value。Collect阶段：map()函数处理完成后，调用OutputCollector.collect()输出结果，生成的key/value被分区并写入环形内存缓冲区。Spill阶段：环形缓冲区满后，数
-
Hadoop MapTask工作机制
MapTask工作机制Read阶段：MapTask通过用户编写的RecordReader，从输入的InputSplit中解析出一个个key/value。Map阶段：将解析出的key/value交给用户编写的map()函数处理，并产生一系列新的key/value。Collect阶段：在用户编写的map()函数中，数据处理完成后，一般会调用outputCollector.collect()输出结果，在
-
Flink提交Job的方式以及参数设置
参数介绍./bin/flink run -t yarn-session \ -Dyarn.application.id=application_XXXX_YY \ ./examples/streaming/TopSpeedWindowing.jar &nb
-
Hadoop Map reduces 切片原理-切片大小等于块大小
介绍切片大小：默认情况下，切片的大小与HDFS的块（Block）大小相等，通常为128MB。如果程序运行在本地，则默认块大小为32MB。切片机制：在MapReduce中，切片机制主要由FileInputFormat的getSplits(job)方法完成。这个方法定义了如何将输入分割为InputSplit，不同的输入有不同的分隔逻辑，而分隔得到的每个InputSplit交由不同的Mapper处理，因
-
Hadoop DataNode工作机制
工作机制数据块存储：一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据（包括数据块的长度，块数据的校验和，以及时间戳）。注册与上报：DataNode启动后向NameNode注册，注册通过后，周期性（6小时）的向NameNode上报所有的块信息。DN向NN汇报当前解读信息的时间间隔，默认6小时；
-
hadoop hdfs api 操作
配置客户端环境1）找到资料包路径下的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）。2）配置HADOOP_HOME环境变量3）配置Path环境变量。注意：如果环境变量不起作用，可以重启电脑试试。验证Hadoop环境变量是否正常。双击winutils.exe，如果报如下错误。说明缺少微软运行库（正版系统往往有这个问题）。再资料包里面有对应的微软运行库安装包双击安装即
-
hadoop hdfs 常用命令
命令列表查看目录文件信息：hdfs dfs -ls 创建文件夹：hdfs dfs -mkdir 删除文件/空白文件夹：hdfs dfs -rm [-skiptrash] 递归删除文件/空白文件夹：hdfs dfs -rmr [-skiptrash] 查看指定路径的当前目录结构：hdfs dfs -ls
-
袋鼠云代码检查服务，揭秘高质量代码背后的秘密
质量是产品的生命线，代码检查是软件开发过程中至关重要的一环，它可以帮助我们发现并纠正潜在的错误，提高软件质量，降低维护成本。在袋鼠云产品中也存在这个问题，由于离线数据开发人员 SQL 水平不一，导致代码书写混乱、SQL 代码运行问题较多。本文将介绍在离线产品中如何利用 SQL 检查规则规范化 SQL 代码，对代码书写问题进行拦截，便于统一管理，用于预防引入需要治理的问题。通过本文的介绍，我们希望您
-
Flink CDC 采集MySQL 初始化或者指定时间戳时，没有采集到数据
介绍在使用 Flink 1.13.x 集成 CDC 2.3.0 时，如果遇到时间戳作为起点开始采集但没有采集到数据的问题，可能有以下几个原因：解决方案时区问题：Flink 运行机器时区和 MySQL Server 时区不匹配，database.serverTimezone 配置会受到影响。解决办法是手动指定 Flink 运行的时区，和连接的数据库时区信息保持一致1。例如，可以在数据库属性中添加 d
-
频频刷屏朋友圈，白酒如何越来越年轻化？来聊聊白酒企业数字化
最近，某白酒品牌频频吸引大众眼球，白酒与咖啡、巧克力等联名衍生品一经推出便掀起热潮。某商品由于太过火爆，甚至一度售罄下架。不得不说，我国拥有超大规模内需市场，消费潜力巨大。当前，创新消费场景加上数字化融合转型，成为酒企品牌开疆扩土、逆势增长的重要途径。如今越来越多的酒企开始拥抱数字化，建立涵盖白酒品系开发、酒体设计、基地建设、白酒生产运营、营销等环节的数字化体系，实现全链路数字化，提高产品质量及市
-
Flink cdc 2.2.0版本不能配置指定时间戳或者binlog位置采集
介绍源码可以看到!!这个是Flink cdc 2.2.0版本的，这里只有两种Mode，想要指定时间戳或者是binlog文件位置，则需要升级cdc版本，我选择了2.3.0解决了问题！注意Flink cdc的包和Flink的包非常容易出现包的版本冲突，可以根据报错信息进行相关包的排除，如果需要用cdc，则最好优先使用Flink cdc里面的包
-
揭秘 ChunJun：如何实现 e2e&session 日志隔离
本文将从 e2e 的基本介绍，e2e 的使用与扩展，session 日志隔离三个维度为大家带来 ChunJun e2e & session 日志隔离的分享。大量具体代码和演示请看视频教程⬇️视频课程：https://www.bilibili.com/video/BV1ru411P7oZ/?spm_id_from=333.999.0.0课件获取：https://www.dtstack.com
