Apache DolphinScheduler 6 月治理优化,补齐调度运维全链路细节
社区朋友们,今年 6 月份的社区月报来啦!不同于常规月度大版本功能迭代,本月 Apache DolphinScheduler 社区全力深耕底层治理!小伙伴们重点打磨了平台稳定性,比如完成 3.4.2 版本运维闭环、优化任务故障转移能力、修复高并发偶发故障、落地日志敏感数据脱敏,补齐部署、存储、CI 工程等各类线上细碎短板。
Apache DolphinScheduler 逐步升级指南:1.3.6 至 3.2.2
一、整体步骤版本升级路线:v1.3.6 -> v2.0.0 -> v2.0.9 -> v3.0.0 -> v3.1.8 -> v3.2.2;下载各版本的二进制安装包:https://archive.apache.org/dist/dolphinscheduler/3.1.8/apache-dolphinscheduler-3.1.8-bin.tar.gz;创建各版本的
基于腾讯音乐 SuperSonic SPI 机制集成 DolphinScheduler CLI 的联动实战
SuperSonic 是腾讯音乐开源的下一代 AI+BI 平台,统一了 Chat BI(由 LLM 驱动)和 Headless BI(由语义层驱动)两种范式。
不想碰 Zookeeper?Apache DolphinScheduler 给你两个更好的选择
在分布式调度系统的架构设计中,注册中心的选择往往决定了系统的复杂度和运维成本。Apache DolphinScheduler作为一款成熟的分布式工作流调度系统,虽然默认使用ZooKeeper作为注册中心,但已经提供了多种替代方案,让用户可以根据自身技术栈和运维能力做出灵活选择。为什么有些人不想用ZooKeeper?ZooKeeper作为经典的分布式协调服务,虽然功能强大,但在实际应用中确实存在一些
Linux 环境下,Apache DolphinScheduler 如何驱动 Flink 消费 Kafka 数据?
已经在虚拟机部署好Apache DolphinScheduler了,想尝试下在Flink新建一个Flink节点,然后用Flink消费Kafka数据。Apache DolphinScheduler用的是单机部署,具体操作可以参考官方文档:DolphinScheduler | 文档中心(https://dolphinscheduler.apache.org/zh-cn/docs/3.3.2/guide
Apache SeaTunnel Zeta Engine 的 Basic Auth 是怎么工作的?
最近在看 Apache SeaTunnel Zeta Engine 的 REST API 认证逻辑时,遇到一个很典型的问题:Zeta Engine 明明已经启动了,REST 服务也正常监听端口,但是访问 /overview、/running-jobs、/job-info 这些接口时,却返回了:HTTP/1.1 401 Unauthorized如果只是第一次看到这个错误,很容易以
一文读懂DolphinScheduler插件机制:如何轻松扩展任务类型与数据源
DolphinScheduler 的插件体系基于 Java SPI(Service Provider Interface) 机制,配合 Google AutoService 自动生成注册文件,实现了零侵入的插件化扩展
Apache DolphinScheduler 与 AWS 数据湖仓集成:混合调度与成本优化实战
在数据驱动的业务决策成为常态的今天,一个高效、灵活且成本可控的数据处理流水线是企业数据中台的核心竞争力。
Apache DolphinScheduler 新手指南:手把手教你创建第一个工作流!
在本文中,我们将使用 Apache DolphinScheduler 逐步创建和运行一个简单的工作流。在这段旅程中,你将学习 DolphinScheduler 的基本概念,并了解运行工作流的最基本配置。我们在本教程中提供了视频和文字两种方式,你可以选择喜欢的方式。设置 Dolphinscheduler在继续之前,你必须先安装并启动 DolphinScheduler。对于初学者,我们建议使用官方 D
MySQL 元数据库 Docker Compose 部署 Apache DolphinScheduler 3.1.9 集群实战
今天我们将深入探讨一个备受关注的话题:如何使用MySQL元数据库,通过 Docker Compose 快速部署Apache DolphinScheduler 3.1.9 集群。
基于 DolphinScheduler 与 SeaTunnel 实现 MySQL 到 Doris 离线定时增量同步
在企业数据平台建设过程中,数据同步是一项非常常见的需求。随着业务规模不断增长,全量同步带来的数据库压力和资源消耗也会越来越大。因此,在实际生产环境中,增量同步往往是更常见的选择。本次演示将结合 Apache DolphinScheduler 与 Apache SeaTunnel,实现一个典型的离线增量同步场景:通过 DolphinScheduler 获取目标端同步位点,并将该位点作为参数传递给 S
Apache DolphinScheduler 3.4.2 发布!新增 Amazon EMR Serverless 插件
近日,Apache DolphinScheduler 社区正式发布 3.4.2 版本。作为 3.4.x 系列的重要维护版本,3.4.2 延续了社区一贯的高质量迭代节奏。本次发布不仅带来了 Amazon EMR Serverless 任务插件、监控中心增强等用户可直接感知的新能力,同时还围绕补数据场景、任务插件能力、安全治理、权限控制以及底层架构进行了大规模优化和重构。从 Release 周期来看,
别再让慢查询偷偷吃掉你的时间!用DolphinScheduler轻松搞定超时告警
你是不是经常遇到这种情况?一个数据库备份或者查询任务,跑起来没完没了,等你发现时,业务已经受到影响了。别担心,今天我就分享一个我亲自验证过的高效方法:用 Apache DolphinScheduler 设置执行超时告警,时间一到,信息立刻推送到你的飞书(或钉钉/企业微信),让你时刻掌握任务动态!核心思路很简单:让调度器替你“盯梢”,一旦任务超过预设时间,马上通知你。这就像给你的后台任务装了一个智能
DolphinScheduler 5 月社区更新:用户最有感的 6 件事
2026 年 5 月的 DolphinScheduler 社区更新,关键词只有两个:稳 与 准。一方面,Master failover 这类“线上一出问题就影响面很大”的稳定性隐患被补齐;另一方面,API 权限校验、插件依赖冲突、远程任务空指针这类“用着用着就踩坑”的细节也被系统性修复。本月报把 5 月合并到 dev 分支的重点变化讲清楚,包括你会受哪些影响、要不要升级、怎么验证。本月数据合并 P
DolphinScheduler 任务失败后,这 3 种补救措施你掌握了吗
当 DolphinScheduler 的任务失败之后,如何安全地让它重新“站”起来?
公认生产稳健可靠:DolphinScheduler Master 服务启动源码全方位解析
在现代数据驱动的企业中,工作流调度系统是数据管道(Data Pipeline)的“中枢神经”。从 ETL 任务到机器学习训练,从报表生成到实时监控,几乎所有关键业务都依赖于一个稳定、高效、易扩展的调度引擎。
如何使用 Apache DolphinScheduler 调度执行 Flume 数据采集任务?
因为我们的数仓数据源是Kafka,离线数仓需要用Flume采集Kafka中的数据到HDFS中。
DolphinScheduler 3.1.3 跨越升级 3.4.1:基于 API 的自动化迁移方案
为什么要跨越大版本?
DolphinScheduler Agent 开源上线|从告警到自愈一键闭环
这套打通「群聊告警→智能诊断→自动恢复→报告闭环」的全链路系统,可以很好地解决传统运维碎片化、高耗时、反复跨系统跳转的痛点
DolphinScheduler 3.3.2 如何调用 DataX 3.0 + SeaTunnel 2.3.12?附 Demo演示!
概念解释:DAG:有向无环图,有顺序,但是不会形成环的图表。 海豚调度的API接口:http://YOURID:12345/dolphinscheduler/swagger-ui/index.html 需要先自行安装DataX和SeaTunnel DataX见:https://www.cnblogs.com/kakarotto-chen/p/19262463