-
Workbuddy 打造数仓专家团-实现数据全流程自动化开发
Workbuddy 打造数仓专家团-实现数据全流程自动化开发
-
DolphinScheduler 任务节点实战合集：从 SQL、DataX 到 Spark、Flink 一次配置全打通
一、前言本文是一篇关于Apache DolphinScheduler 在实际项目中的应用实战笔记，包含 DolphinScheduler 执行 SQL 或存储过程、调用 DataX 同步数据、HTTP 接口多种任务节点类型及其配置方法，并提供了丰富的配置示例和参数说明，适合需要快速上手 DolphinScheduler 的开发者和运维人员参考。首先，在 DolphinScheduler 网页上创建
-
实战指南 | Kubernetes环境下DolphinScheduler与Spark集成
随着企业数据规模的快速增长，传统物理机或虚拟机部署Apache DolphinScheduler面临着环境配置复杂、资源利用率低、扩展性差等痛点。特别是在需要运行Spark等大数据计算任务时，手动维护多套环境、处理依赖冲突、应对突发流量等问题更是让运维团队疲于奔命。Kubernetes云原生部署为这些问题提供了优雅的解决方案——通过容器化实现环境一致性，利用共享存储解决Spark等二进制文件的分发
-
Linux 环境下，Apache DolphinScheduler 如何驱动 Flink 消费 Kafka 数据？
已经在虚拟机部署好Apache DolphinScheduler了，想尝试下在Flink新建一个Flink节点，然后用Flink消费Kafka数据。Apache DolphinScheduler用的是单机部署，具体操作可以参考官方文档：DolphinScheduler | 文档中心(https://dolphinscheduler.apache.org/zh-cn/docs/3.3.2/guide
-
当多表数据涌入，Apache SeaTunnel 如何巧妙化解主键冲突？
点亮Star！https://github.com/apache/seatunnel来源 | 数仓生态圈概述当有多个数据库中的一张表具有类似的数据，例如有多个不同的系统来源，数据插入不同数据库中的表。此时，若需要把这些表数据汇总成一张表进行统计分析，会面临一个棘手问题：由于多张表具有相同的主键，直接汇总到一起会出现主键重复。而 Apache SeaTunnel 就能巧妙应对这一挑战。本篇文章将详细
-
成为 ASF Member 有路径？他来现身说“法”
很少有人会把“成为 ASF Member”当成一个明确目标。 因为它既不能申请，也没有明确路径，它更像是一种结果——在一个社区中长期做事之后，被自然看见。
-
走近 ASF 新成员向梓豪！看他如何用代码和 Apache Way 影响社区
恭喜@向梓豪同学近期受邀成为 ASF Member！作为 Apache DolphinScheduler 的 PMC Member，社区为他获此殊荣感到由衷的开心。
-
第 1 篇 | 调度系统，不只是一个“定时器”
很多团队一开始都把调度系统当成“定时跑任务的工具”，直到任务规模上来、依赖变复杂、失败开始难以恢复，才意识到问题的根源并不在脚本本身。
-
如果 JobManager 宕机，那么整个集群的任务都将失败
在 JobManager 启动时，调用 HighAvailabilityServicesUtils.createHighAvailabilityServices 来创建 HA 服务，HA 依赖的服务都被封装在 HighAvailabilityServices 中。当前 Flink 内部支持两种高可用模式，分别是 ZooKeeper 和 KUBERNETES。case ZOOKE
-
DBShadow和Dapper对比一下
await using var conn = _dataSource.CreateConnection();var sql = "SELECT \"Id\",\"Title\",\"Content\",\"Done\",\"LastTime\" FROM \"Todo\"
-
Linux 环境下，Apache DolphinScheduler 如何驱动 Flink 消费 Kafka 数据？
已经在虚拟机部署好Apache DolphinScheduler了，想尝试下在Flink新建一个Flink节点，然后用Flink消费Kafka数据。
-
如果你想写一个接受可选回调的函数，并且想要一个合理的默认
function my_filter(array $items, ?Closure $predicate = null): array{ $predicate ??= static function ($v): bool { return !empty($v); }; $out = []; foreach (
-
enum通常用于定义一组固定的常量值，在Qt开发中
枚举类型enum通常用于定义一组固定的常量值，在Qt开发中，QComboBox控件中使用枚举值来设置或获取当前中的选项。如果你想要遍历一个枚举类型，比如在QComboBox中填充所用枚举值，你需要先定义枚举，然后利用Qt的元对象系统(Meta-Object System)来获取枚举的名称和值。步骤1：定义枚举首先，定义你的枚举，通常这会在一个类中完成例如：class MyCl
-
Flink Agents 源码解读
AgentPlan 本质上是将用户友好的Agent定义转换为运行时可执行的结构化表示，使得执行引擎可以高效地处理Agent逻辑。1.1 定义定义如下：class AgentPlan(BaseModel): """ 从用户自定义 Agent 编译
-
FastAPI + TinyDB并发陷阱与实战：告别数据错乱的解决方案
这篇文章，我将和你一起拆解这个问题，并分享如何用几个轻量级方案，让这个基于FastAPI和TinyDB的应用稳定地支撑起了日均数千次的并发请求。它不是一套放之四海而皆准的架构，但绝对是你在原型开发、小型工具或特定轻量场景下，性价比最高的解决方案。📖 核心摘要本文针对在FastAPI框架下使用TinyDB（JSON文件数据库）时遇到的并发写入数据冲突、错乱问题，深入浅出地解释了问题根源，并提供了从“
-
vivo Pulsar 万亿级消息处理实践(2)-从0到1建设 Pulsar 指标监控链路
本文是《vivo Pulsar万亿级消息处理实践》系列文章第2篇，Pulsar支持上报分区粒度指标，Kafka则没有分区粒度的指标，所以Pulsar的指标量级要远大于Kafka。在Pulsar平台建设初期，提供一个稳定、低时延的监控链路尤为重要。
-
Spark on K8s 在vivo大数据平台的混部实战
本文将从在离线混部中的离线任务的角度，讲述离线任务是如何进行容器化、平台上的离线任务如何平滑地提交到混部集群、离线任务在混部集群中如何调度的完整实现以及过程中的问题解决。
-
Databricks date_add日期函数
Databricks 日期函数date_add 和 dateadd
-
Apache Spark & Paimon Meetup · 北京站，助力 LakeHouse 架构生产落地
阿里云 EMR 技术团队联合 Apache Paimon 社区，联合举办“ Apache Spark & Paimon, 助力 LakeHouse 架构生产落地”线下 meetup，分享 LakeHouse 架构的核心技术和最佳实践经验，为大数据从业者提供一个开放的分享与交流平台。
-
Databricks 常用语句
Databricks 常用语句，包括SQL、Python
