-
Flink sql源码执行的流程
介绍Flink SQL 的转换流程大致如下：首先，SQL 语句经过 Calcite 解析生成抽象语法树 SQLNode。然后，基于生成的 SQLNode 并结合 Flink Catalog 完成校验生成一颗 Operation 树。接下来，Blink Planner 将 Operation 树转换为执行计划 文章推荐https://juejin.cn/post/709535439410338
-
基于 Log 的通用增量 Checkpoint
介绍基于 Log 的通用增量 Checkpoint 是 Flink 的一个功能。它通过持续上传增量 Changelog 的方法，来确保每次 Checkpointing 可以稳定快速的完成，从而减小 Checkpointing 之间的间隔，提升 Flink 系统端到端的延迟 文章推荐https://www.jianshu.com/p/29acbd603782
-
Flink - suffle 过程解读
介绍Flink 的 shuffle 过程分为几个重要的阶段，包括写数据到内存缓冲区、对内存缓冲区进行排序、将排好序的数据写出到文件以及从文件中读取 shuffle 数据并发送给下游。目前，有两种批数据 shuffle 模型被现有的大规模分布式计算系统采用，分别是基于 hash 的方式以及基于 sort 的方式。基于 hash 方式的核心思路是将发送给下游不同并发消费任务的数据写到单独的文件中，
-
技术干货｜如何利用 ChunJun 实现数据离线同步？
ChunJun技术分享干货来了！离线同步是 ChunJun 的⼀个重要特性，本文将为大家介绍如何使用 ChunJun 实时同步，并且对ChunJun 离线同步原理进行解析，帮助大家更好地理解 ChunJun 与离线同步，欢迎点进正文阅读。
-
Kafka - 配置文件参数优化方案
num·network.threads:参数用于设置处理Kafka集群请求的网络线程数，例如客户端应用程序的生产和获取请求。可以根据复制因子和客户端生产者和消费者与Kafka集群的交互的活动水平来调整网络线程数建议配置数：6 或者 9；参数的配置值一般建议是磁盘个数的倍数，但不超过CPU核数 num.io·threads:参数用于设置处理磁盘I/O操作的线程数。建议配置数：16 或者 32；
-
Kafka - 集群搭建的注意事项
注意集群搭建的时候，ZK不要和Kafka放到一个机器上
-
提高数据的安全性和可控性，数栈基于 Ranger 实现的 Spark SQL 权限控制实践之路
在企业级应用中，数据的安全性和隐私保护是极其重要的，为了实现Spark SQL 对数据的精细化管理及提高数据的安全性和可控性，数栈基于 Apache Ranger 实现了 Spark SQL 对数据处理的权限控制，本文将重点描述数栈如何基于 Ranger 赋予了 Spark SQL 在权限管控方面，更强的管控力度、更丰富的能力。
-
Windows下hadoop环境搭建之NameNode启动报错
因为平时工作和日常接触到的大都是的中型项目，所以少有个性化推荐等涉及大数据的功能。但是后期应该也会在自己项目中添加信息推荐模块，所以就开始关注spark，hadoop，Thrift等工具，以下就以hadoop先开始，包括环境搭建和配置过程中踩坑过程。
-
数仓命名规范大全
介绍数仓命名规范是指在数仓建设中对表名、字段名、主题域名等进行统一命名的规范。这些规范可以帮助使用者轻松地理解表的作用和含义。例如，阿里云开发者社区有一篇文章，它全面讲解了数仓建设规范，包括数据模型规范、数仓公共规范、数仓各层规范，以及数仓命名规范，包括表命名、指标字段命名规范等 推荐文章https://mp.weixin.qq.com/s/i7yDRpR_rWI598eVG1wDmwhtt
-
Flink不同并发之间如何通信
介绍在Apache Flink中，不同并发之间的通信通常通过网络堆栈来实现。网络堆栈使用共享内存来实现快速通信。一个并发可以是一个任务管理器上的一个任务槽，也可以是一个集群中的一个计算节点。任务槽中的算子可以通过网络堆栈和其他任务槽中的算子进行通信。Flink也可以使用TCP或RDMA协议来跨计算节点进行通信，但这种方式的效率比基于共享内存的通信方式要低。
-
Flink的底层算子之前如何通信
介绍Flink是一个分布式数据处理引擎，它的底层算子需要进行通信来实现数据交换和协调。早期版本中，通信是通过网络消息传递实现的，但这种方式在处理大规模数据时存在延迟和带宽限制等问题。为了解决这些问题，Flink引入了基于共享内存的通信机制，称为网络堆栈。这种通信方式可以避免网络传输的延迟和带宽限制，提高通信效率和处理速度。
-
数据仓库 - ER模型
介绍ER模型（实体-关系模型）是一种用于描述现实世界中各种事物的抽象的基本对象。它可以是物理存在的事物，例如人、汽车等；也可以是抽象的概念，例如学校、部门等。属性是不可分割的数据单位，用于描述实体所具有的特征，例如教师实体具有姓名、性别、地址等属性 推荐文章https://developer.aliyun.com/article/931843https://zhuanlan.zhihu.co
-
Flink 配置自动调优
介绍阿里云实时计算 Flink 自动调优实践是一篇介绍阿里云实时计算 Flink 版如何通过自动调优功能来节省计算资源的文章。文章主要分为四个部分：历史背景、框架简介、案例介绍和未来规划。文章介绍了自动调优的原理、流程和效果，以及在不同场景下的应用和优化。文章还展示了自动调优在阿里云实时计算 Flink 版上线后的效果，包括节省资源、提高吞吐、降低延迟等 配置推荐https://help.a
-
Kafka常见的问题及解决方案
Kafka集群无法在跨网络的环境中正常工作。这可能是因为没有正确配置listeners和advertised.listeners参数，导致内外网的访问不通畅。解决方法是根据实际的网络环境，设置不同的listener和protocol，并指定inter.broker.listener.name1。 Kafka集群数据节点不均衡。这可能是因为创建topic时没有合理设置replication-f
-
一文详解如何在 ChengYing 中通过产品线部署一键提升效率
在之前的内容当中，我们为大家介绍过 ChengYing 的安装原理、产品包制作等内容，本篇就延续之前的内容，和大家展开聊聊 ChengYing 产品线部署相关的设计。帮助对「一站式全自动化全生命周期大数据平台运维管家 ChengYing」感兴趣的开发者更好地了解和使用 ChengYing。产品线部署简介首先对 ChengYing 的产品线部署进行一个“自我介绍”，共分为三个部分：● 支持用户自定义
-
5款电脑办公软件推荐，让你轻松应对各种工作场景
1.中移移动办公PC版中移移动办公PC版是一款强大的智慧办公软件，支持必达通知、团队通信、协同效率、行政管理等功能，极大的提高了团队的沟通效率，节省时间，邀您一起开启5G办公新时代。2.有道云笔记（原有道笔记）是网易旗下的有道推出的云笔记软件，支持多种附件格式，有道云笔记拥有2G容量的初始免费存储空间，能够实时增量式同步。3.Convertio这是一个海外多功能在线转换网站，不仅支持图像转换、文档
-
数栈V6.0全新产品矩阵发布，数据底座 EasyMR 焕新升级
4月20日，袋鼠云成功举行了以“数实融合，韧性生长”为主题的2023春季生长大会。会上，袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级，并重点发布了企业级数据计算与存储平台——自研大数据引擎 EasyMR。今年的集体学习会议上强调：“要打好科技仪器设备、操作系统和基础软件国产化攻坚战，提
-
5款优秀的电脑办公软件推荐，让你工作事半功倍
1.AdGuard一款可以帮你屏蔽网页广告的插件，安装之后，开启就可以了，支持自定义广告区域。2.搜狗输入法这个软件你可能有，但是有个很细节的功能你想不到，比如你遇到生僻字，三个牛字念什么，不用百度就能直接知道，还有一个很强大的功能，语音输入。3.牛片的字幕工具牛片的字幕工具，可以一键合成字幕视频，支持自动打轴，在线编辑，避免了传统式字幕文件操作上的繁琐，傻瓜式合成超方便。4.米卓同屏助手米卓同屏
-
技术干货｜如何利用 ChunJun 实现数据实时同步？
实时同步是 ChunJun 的⼀个重要特性，指在数据同步过程中，数据源与⽬标系统之间的数据传输和更新⼏乎在同⼀时间进⾏。在实时同步场景中我们更加关注源端，当源系统中的数据发⽣变化时，这些变化会⽴即传输并应⽤到⽬标系统，以保证两个系统中的数据保持⼀致。这个特性需要作业运⾏过程中 source 插件不间断地频繁访问源端。在⽣产场景下，对于这类⻓时间运⾏、资源可预估、需要稳定性的作业，我们推荐使⽤ pe
-
新起点！大数据分布式可视化的 DAG 任务调度系统 Taier 正式发布1.4版本
我们很高兴向大家宣布，2023年4月14日，Taier 正式发布 1.4 版本。自2022年2月份 Taier 正式开源以来，收到了很多开发者和行业用户的积极评价，在诸多生产环境中已得到充分应用。Taier 1.4版本正是吸收了各类实践经验及大家的建议，进行了此次迭代优化。本次更新不仅包含了性能优化和稳定性的提升，还新增了各类任务类型、完善大量任务功能，优化使用场景，持续增强开源产品化技术能力和应
