速进!SeaTunnel 2.3.11 用 Docker 部署,实现 Kafka 同步 Hive/ES
本文档详细介绍如何使用 Docker 部署 SeaTunnel 2.3.11,并配置 Kafka 虚拟表、数据源以及 Kafka 同步到 Hive 和 Elasticsearch 的完整实战案例。安装准备目录结构seatunnel-docker/ ├── docker-compose.yml
白鲸开源受邀出席 2026 AMD EPYC 行业生态峰会,共探 DataOps 驱动制造业数智化升级
6月10日,由 AMD 主办的“芯联生态·智合共赢”2026 AMD EPYC 行业生态峰会——深圳站制造业专场成功举办。作为 DataOps 领域的重要技术服务商,白鲸开源受邀出席本次峰会,与来自制造业、人工智能、高性能计算及产业生态领域的专家学者、企业代表齐聚一堂,共同探讨算力驱动智能制造发展的新路径。聚焦算力赋能智造,共话产业数字化未来当前,人工智能技术正加速融入制造业全链路场景,从生产优化
记一次 Apache SeaTunnel 中 CANCELING 状态卡死问题的排查过程
作者 | Doyeon Kim译者 | Debra此前,我在 Apache SeaTunnel 中曾处理过一个问题:用户执行 Cancel 操作后,任务有时会一直停留在 CANCELING 状态,无法结束。起初,我以为这只是一个普通的取消流程 Bug。可能是死锁、重试逻辑陷入死循环,或者某个状态转换环节出了问题。但随着排查不断深入,我发现事情远比想象中复杂。这个问题涉及 Master 与 Work
我用 CodeX+WhaleStudio Skill 10 分钟创建了 Snowflake 数据仓库!
摘要如果有一天,在 WhaleStudio 中创建同步任务、编写 SQL、搭建 DAG、排查任务异常这些工作都能交给 Agent 自动完成,那么数据工程师的价值还体现在哪里?未来的数据平台又该扮演怎样的角色?带着这样的思考,白鲸开源 CEO 郭炜 亲自录制了一段基于 WhaleStudio 与 Snowflake 的实践演示视频。作为长期深耕数据基础设施领域的技术创业者,他在持续打磨 WhaleS
基于 SeaTunnel 与 DolphinScheduler 实现 MySQL 到 Doris 离线定时增量同步
本次演示将结合 Apache SeaTunnel 与 Apache DolphinScheduler,实现一个典型的离线增量同步场景:通过 DolphinScheduler 获取目标端同步位点,并将该位点作为参数传递给 SeaTunnel,从而实现 MySQL 到 Doris 的增量数据同步。
从学生贡献者到 Apache SeaTunnel Committer:Doyeon Kim 的开源成长之路
本次演示将结合 Apache SeaTunnel 与 Apache DolphinScheduler,实现一个典型的离线增量同步场景:通过 DolphinScheduler 获取目标端同步位点,并将该位点作为参数传递给 SeaTunnel,从而实现 MySQL 到 Doris 的增量数据同步。
Snowflake Summit 26 见闻实感:Goodbye Data, Hello AI
感谢 Snowflake 这次邀请我以 Snowflake 雪花大使身份参加 Snowflake Summit。这次大会给我的触动比预想中更大,大家知道,我一直做从事数据行业,早期在 Teradata,后来在 IBM,后来在企业里 Lenovo、中金、万达等管大数据,后来成为 Apache Software Foundation Member,现在是白鲸开源 CEO,所以我一直对数据行业非常关注。
同程旅行数据困境大破解!借 Apache SeaTunnel 打造统一数据通道
随着生成式 AI 技术的发展,企业对数据基础设施提出了新的要求。除了传统的结构化数据之外,文本、图片、音频等多模态数据正在快速增长。面对更加丰富的数据类型和更加复杂的数据链路,如何构建统一、高效且易于治理的数据通道平台,成为许多企业关注的重要课题。在即将举行的 Apache SeaTunnel Meetup 六月专场活动中,我们邀请到了同程旅行数据开发工程师、Apache SeaTunnel Co
87 个 PR 迭代复盘|Apache SeaTunnel 5 月版本重点更新解读
社区小伙伴们,Apache SeaTunnel 5 月份月报姗姗来迟啦!
Demo 演示 | 基于 Apache SeaTunnel 实现从 MySQL CDC 到 PostgreSQL 全量数据同步
本文详细演示了如何通过 Apache SeaTunnel 2.3.9 实现 MySQL CDC 到 PostgreSQL 的全量数据同步。话不多说,我们开始学习 MySQL 同步到 PostgreSQL 场景:版本要求:MySQL --> MySQL-8.3PostgreSQL --> PostgreSQL-13.2Apache SeaTunnel --> Apac
SeaTunnel 进阶指南:解锁 MySQL-CDC 实时增量采集神技
实时增量采集:变更数据捕获(CDC)mysql-cdc 官方文档:https://seatunnel.apache.org/zh-CN/docs/2.3.3/connector-v2/source/MySQL-CDC/cdc 可以==一个 seatunnel 的 cdc 任务监控多个表==,进行同步必须用 mysql8.0.33 以上的 jdbc 驱动下载地址:https://downloads.
又一 SeaTunnel Committer 诞生!曾毅将力推 Connector 升级与 AI 数据集成落地
嘿,朋友们!最近 Apache SeaTunnel 开源项目可谓喜讯传来,天翼云科技的大数据工程师曾毅受邀成为 Committer 的一员,为项目注入新活力!在 Apache SeaTunnel 社区,曾毅早已凭借出色能力和深厚技术功底崭露头角。此次当选 Apache SeaTunnel Committer,是对他投身开源社区的高度认可。他在社区中积极参与各类项目开发,不仅贡献高质量代码,比如围绕
未来十年的数据工程:从 Modern Data Stack 到 Data Engineering Harness
过去十年,数据工程的主线,是 Modern Data Stack 对传统数仓体系的一次拆解与重组。
速戳!王学鹏 Apache SeaTunnel Committer 养成记
宝子们,最近 Apache SeaTunnel 又注入了新力量,迎来了几位超有能力、干劲十足的 Committer,王学鹏就是其中之一。
Apache SeaTunnel 设置钉钉通知详细教程,亲测可用!
使用 Seatunnel 执行数据同步. 部署参考 部署 Apache-Seatunnel 服务
干货!SeaTunnel(2.3.12)高阶用法(一):核心概念之数据流
在数据集成与同步领域,Apache SeaTunnel 无疑是当下最炙手可热的工具之一。本系列将深挖其高级用法。
打开实时数据同步新思路:SeaTunnel 选择性捕获数据库变更怎么用?
在现代数据架构中,实时捕获和处理数据变更是构建数据湖、实时数仓及业务分析的关键技术。Apache SeaTunnel通过读取数据库的事务日志(如MySQL的Binlog),能够高效、准确地捕获数据表的变更事件(INSERT, UPDATE, DELETE)。
(八)收官篇 | 数据平台最后一公里:数据集成开发设计与上线治理实战
文章重点围绕离线与实时同步、同步任务设计、Source/Sink 参数、实时断点、虚拟表治理以及上线发布规范展开,进一步补齐“数据入口治理”这一关键环节,帮助数据平台从“任务能跑”走向“全链路稳定运行”。
AI 让 SeaTunnel 读源码和调试过时了吗?
在本周的 Apache SeaTunnel Meetup 上,项目活跃贡献者 梁尧博为我们分享了一场非常精彩的话题——AI 时代下如何更高效地进行 SeaTunnel 本地调试。他通过细致的讲解,从环境准备到调试跑通的整个过程都进行了详细的展示,让已经或者打算上手 SeaTunnel 的观众都对如何进行源码调试、问题定位和自己修 bug 有了更直观和深入的了解。现在,分享内容已经整理成文字版,供大家学习参考。
杀疯了!SeaTunnel AI CLI 解锁数据集成新玩法
每个数据工程师都经历过这样的场景:业务方说"帮我把 MySQL 的用户表同步到 S3"——你心里知道这件事本质上就是从 A 搬到 B。但接下来你要查文档、学参数、写 HOCON、调试报错,一个"简单"的需求花了两小时。