ITPub博客

最近，Apache SeaTunnel 社区迎来了一位新 Committer！相信很多社区成员对他并不陌生：他长期活跃于 GitHub Issue 讨论中，积极参与项目建设，同时通过撰写多篇 Apache SeaTunnel 使用实践与项目参与经验文章，帮助更多用户了解和使用 Apache SeaTunnel，为社区贡献了宝贵的技术分享。从 Contributor 到 Committer，他用半年

近日，第十一届“创客中国”北京市中小企业创新创业大赛暨“创客北京2026”创新创业大赛海淀区级赛圆满落幕。北京白鲸开源科技有限公司凭借技术创新实力与成熟的商业化落地能力，荣获大赛企业组二等奖。本次大赛由中关村科学城管理委员会主办，聚焦挖掘优质科创企业，激发区域创新创业活力，吸引了众多优秀科创项目同台竞技。经过项目路演、专家评审多轮角逐，白鲸开源从参赛企业中脱颖而出，收获此项荣誉。此次获奖，是行业对

作者 | Doyeon Kim在为 Apache SeaTunnel 开发 BigQuery Sink 连接器的过程中，我最初认为最大的挑战会很直接：确保数据能够正确写入 BigQuery。但随着实现不断深入，我逐渐意识到，真正困难的问题并不只是调用 BigQuery API，而是如何将 BigQuery 的外部写入可见性模型 与 SeaTunnel 的 checkpoint 和恢复生命周期对齐。

中信证券与白鲸开源持续深化合作，近期再次升级白鲸开源一站式 DataOps 解决方案——WhaleStudio，进一步夯实金融业务数据基础设施。此次合作围绕金融场景下的数据集成、同步与任务调度需求，通过扩展数据同步能力、提升大数据任务编排水平，进一步增强数据传输的稳定性、效率与扩展能力，为中信证券托管业务提供更加高效、可靠的数据支撑。未来，双方将持续深化在数据基础设施领域的合作，为金融业务数字化发

一、场景在一个SeaTunnel使用流任务获取Kafka topic中的数据时，如果topic从2 个分区扩到了4个分区。结果呢？新分区里的数据，任务一条都消费不到——除非把任务重启一遍。因为 SeaTunnel 的 Kafka source 默认只会在任务启动时扫描所有分区。虽然重启可以重新扫描分区，但是还是会有一下问题重启期间整个任务暂停，如果使用checkpoint还原，可能会有数据遗漏；s

Apache SeaTunnel 的 Redis 连接器支持 string、hash、set、zset 类型的读取和写入，Redis 到 Redis 的数据搬运不用再手写脚本。本篇按数据类型给出四种同步配置，基于 SeaTunnel 2.3.13 的连接器行为，给有需要的同学一些参考。数据类型读取行为典型写入方式注意点string整值读取，format=json 时按 schema 解析字段按 k

数仓建设，真正难的从来不只是“把数据存起来”。当企业的数据规模不断增长，业务场景越来越复杂，传统大数据架构在低延迟、高性能、资源利用率以及运维成本等方面的挑战也逐渐显现。与此同时，从业务需求产生，到数据同步、清洗、加工，再到数据生产、应用和运维，整个链路中依然存在大量复杂的工程问题。如何借助开源技术搭建一套低门槛、高可靠、易扩展的现代化企业数仓？9月，Apache DolphinScheduler

作者：Ricardo Ferreira 编译：Debra Chen假设你把客户数据存储在 Amazon DynamoDB 中，作为应用的唯一数据源（single source of truth）。但如今你需要同样的数据放在 Redis 里，进行快速缓存、实时分析，或是为向量搜索推荐引擎赋能。举例来说，DynamoDB 中这张名为 mySourceTable 的表当前包含两条数据记录。那么

作者 | bytehouse一、迁移背景我们业务初期采用 PostgreSQL 作为 OLTP 兼分析型数据库，采用本地自建部署方式。实际运维过程中，需要投入大量人力处理数据库高可用架构维护、定时备份、故障恢复等基础工作，运维成本高、复杂度高，且偶尔会出现运维疏漏，存在一定的业务连续性风险。考虑到 平凯数据库云服务 无需本地部署运维、使用便捷，且计费模式灵活可控，我们决定在优先保证业务连续性和稳定

“逛这个展会快把我逛哭了。当你看到这些企业里有一家的产品还不如我们国内产品的时候，会觉得自己很光荣；当你看到有 10 家企业都是这样的时候，会觉得有点奇怪；但当发现有 50 家企业都不如我们的时候，会突然觉得很悲哀，为什么他们仍然可以活得好好的？”

白鲸开源成功中标中银富登村镇银行批量调度工具升级改造项目！

在数据工程领域，Fivetran 经常被认为是“简单、省运维”的代表，而 Apache SeaTunnel 等开源项目则意味着更高的灵活性和更强的自主控制能力。究竟应该选择 Managed ELT，还是自己搭建数据集成平台，一直是数据团队争论不休的问题。

1. 项目背景与挑战作为某金融科技公司的数据架构负责人，去年我主导完成了公司核心ETL系统从Informatica PowerCenter到国产ETL平台的迁移。这个涉及200+作业流、日均处理TB级数据的核心系统迁移，前后历时5个月，最终实现零数据事故的平滑过渡。今天分享实战中的关键决策、技术细节和踩坑经验。Informatica作为传统ETL巨头，在企业级数据集成领域占据统治地位已超过20年。

“AI Agent，打破出海边界，释放全球增长潜力。随着人工智能加速融入企业经营，AI 已经开始进入上市公司利润表当中。产业链企业业绩稳步增长、开源模型技术快速迭代、AI 出海成为数字贸易全新增长点，诸多行业信号印证，人工智能正在全面重塑全球产业竞争格局。在此背景下，如何依托AI Agent降低出海运营成本、提升全球化经营效率，已然成为中国企业开拓海外市场、实现增量突破的核心探索方向。立足产业发展

当企业的数据管道成为核心生产系统时，真正的风险往往不是“同步失败”，而是你不知道它为什么成功，也不知道它为什么失败。过去五年，Fivetran、Stitch、Hevo 等闭源 ELT 工具推动了 Modern Data Stack 的普及。它们用“零代码”“5 分钟完成数据同步”的承诺，大幅降低了数据集成门槛。然而，随着企业数据规模增长、监管要求趋严，以及 AI Agent 开始直接消费企业数据，

AI技术飞速迭代，正在重塑开源软件的开发模式、协作逻辑与运维体系。全新的人机协同开发浪潮之下，开源贡献的形式与价值也迎来了全新升级与变革。开源之夏 2026 正式开启全新征程，全面升级为「点亮计划 2.0」！本年度，Apache SeaTunnel 社区持续入驻开源之夏经典赛道，诚挚邀请广大社区开发者、技术深耕者与开源爱好者踊跃参与。无论是提交优质原创开源课题，还是报名担任项目导师，都能携手高校

Apache DolphinScheduler 本身并没有针对任务组槽位设计"超时强制回收"的功能；它的"自动回收"机制其实是一致性纠正 + 正常释放 + 强制启动三种手段的组合，全部由 TaskGroupCoordinator 后台线程周期性执行完成。

大模型浪潮下，如何让数据工作流走向智能化？

Apache DolphinScheduler 的并发控制横跨 Master、单个流程实例、Worker 三个层级，用户遇到的绝大多数"并发不达预期"问题，本质上都是没有分清这三层参数各自管的是什么。一、从一个最常见的疑问说起几乎所有并发相关的困惑，都可以追溯到同一个经典问题：一个 DAG 最大并发 100，是指 100 个工作流实例同时跑，还是单个工作流里 100 个任务同时

本文将逐步解析 DolphinScheduler 的关键脚本，希望能提供一个详尽的操作指南，帮助大家掌握安装、配置和操作的每一步。