SeaTunnel Databend Sink Connector CDC 功能实现详解
Databend 是一个面向分析型工作负载优化的 OLAP 数据库,采用列式存储架构。在处理 CDC(Change Data Capture,变更数据捕获)场景时,如果直接执行单条的 UPDATE 和 DELETE 操作,会严重影响性能,无法充分发挥 Databend 在批处理方面的优势。在 PR #9661 之前,SeaTunnel 的 Databend sink connector 仅支持批量
Databend 向量索引:加速 AI 应用的数据引擎
上周六,Databend Meetup·北京站圆满举办。本次线下活动聚焦“迈向 AI 驱动的数据平台”,汇聚了国内数据库领域多位一线专家,以及来自各行各业的技术负责人、DBA、开发与运维工程师,围绕“AI Ready 数据平台”的主题,共同探讨了大模型时代数据库和数据平台的创新演进与实战应用。Databend 数据库研发工程师白珅以《Databend 向量索引:加速 AI 应用的数据引擎》为主题,
迈向 AI 驱动的数据平台新时代 | Databend Meetup·北京站活动回顾
今年的 AI 热潮给数据基础设施带来了巨大变革。大模型及生成式 AI 的落地,让金融、零售、制造、医疗等行业都在加速推进数据平台的智能化升级。与之对应,数据体量和复杂性不断提升,企业对数据库系统的性能、扩展性、多模融合与 AI 支持能力提出了更高要求。8月2日,Databend Meetup·北京站线下活动聚焦“迈向 AI 驱动的数据平台”,汇集了国内数据库领域多位一线专家:Databend 创始
Databend 产品月报(2025年7月)
亲爱的 Databend 用户朋友们,大家好!🚀这个七月,我们专注于优化一个核心目标:JSON 查询性能。最令人兴奋的是,我们对 Virtual Columns 功能进行了全面升级,效果显著——JSON 查询速度提升 3 倍,同时数据扫描量减少 26 倍!本月成果速览新增 25 + 实用功能修复 25 + 影响体验的 bug完成 20 + 项性能优化其他改进 35 + 项不过,最让人兴奋的,还是
使用 Databend Cloud 归档 OceanBase 数据数据库
数据归档的必要性: 随着生产数据库数据量持续增长,不仅备份负担加重,数据库性能也会受到显著影响。通过数据归档方案,我们可以将主库中不再频繁访问的早期数据(如历史订单或日志)迁移到归档库中。这能有效减小生产数据库的规模,从而提升其性能。数据归档是生产数据库管理中的一项关键任务。本文将以 Databend Cloud 归档 OceanBase 数据 为例进行说明。该方案
揭秘 Databend 向量索引,加速 AI 应⽤的数据引擎
近年来,随着 AI 和大模型技术的发展,向量数据在各个领域的应用日益广泛。如何高效地存储、索引和查询向量数据,已成为一个重要的挑战。Databend 作为一款云原生的 OLAP 数据库,也在积极拥抱向量数据。在「Data Infra 研究社」第 27 期活动中,我们邀请到 Databend 数据库研发工程师白珅,带来主题为**「Databend 向量索引:加速AI应用的数据引擎」的深度分享。重点介
使用 SeaTunnel 建立从 MySQL 到 Databend 的数据同步管道
SeaTunnel 是一个非常易用、超高性能的分布式数据集成平台,支持实时海量数据同步。 每天可稳定高效地同步数百亿数据,已被近百家企业应用于生产,在国内较为普及。Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的云原生湖仓。SeaTunnel 架构SeaTunnel 整体架构:本文将使用 SeaTunnel 建立从 MySQL 到 Databend 的数据同步管道,实现从
Databend 产品月报(2025年6月)
亲爱的 Databend 用户朋友们,大家好!👋这个六月,我们的研发团队可谓是火力全开,为大家带来了一系列重磅更新!最值得关注的就是全新推出的 企业级审计系统 ,相信这个功能会让企业的数据安全团队眼前一亮~本月成果速览新增 45 + 实用功能修复 30 + 影响体验的 bug完成 15 + 项性能优化其他改进 30 + 项重点功能一览💎 核心升级✓ 全链路审计追踪 :登录记录、查询日志、数据访问全
利用 Graviton 和 Spot 实例打造 Databend 高性能数据平台
Databend 是什么?Databend 于 2021 年 3 月成立,团队成员主要来自 ClickHouse 社区、Google、阿里云、青云和 OB 等国内外知名数据库团队。整个团队有着深厚的行业背景,几乎每个人都在数据库领域深耕了十年以上。目前 Databend 的产品线分为两条:一是 Databend Cloud。目前主要面向海外市场,在很多场景下支持单表数据规模达到 PB 级;二是私有
超 10 倍查询加速,N-Gram Index 设计与优化全解析
在数据库和搜索系统的日常应用中,模糊查询与拼写纠错已成为提升用户体验与系统智能化不可或缺的功能。如何在保证查询准确性的同时,实现低延迟和低内存消耗?什么是 N-Gram Index?N-Gram Index 是一种基于字符串切分的倒排索引结构,主要用于模糊匹配、全文检索以及自动补全等场景。这项技术常应用于类似 Elasticsearch 这样的文本搜索引擎,或 AI 数据检索场景中。其基本原理是将
玩转 Databend UDF
引言Databend 作为新一代云原生数据仓库,提供了六百多个内置函数,满足了大部分用户的需求。然而,随着业务的增长,需求也变的日新月异,内置的函数可能无法服务用户变化的需求。在这种场景下, Databend 提供了多种用户自定义函数(UDF)实现方式,满足不同场景下的数据处理需求。本文将深入探讨三种 UDF 形态:Lambda UDF、UDF Script 和 External UDF Serv
如何在 DataGrip 中 连接 Databend
如何连接 Databend 到 DataGrip?本文通过详细的步骤演示了如何新建 自定义 Driver 以在 DataGrip 中支持连接 Databend,包括设置 Class、DriverFiles 和URLtemplates。最后,通过新建 Driver 和 DataSource,并在 Databend Cloud 上进行连接测试,确保能成功访问数据库。安装 DataGrip首先在 Dat
湖仓一体,不只是技术升级,更是企业决策力再造
湖仓一体不仅仅是一种技术流行趋势--它改变了游戏规则,重新定义了行业领导者如何利用其最宝贵的资产:数据。你是否想知道这种方法能否成为你的竞争优势?湖仓一体架构将数据仓库和数据湖的精华结合到一个统一的高性能平台中,为当今复杂的数据挑战提供了前所未有的价值。要想真正了解未来的发展方向,我们需要先了解过去。在数据平台的发展过程中,各种技术层出不穷,但核心挑战始终不变:如何以最低的复杂度和成本从数据中挖掘
Databend 产品月报(2025年5月)
五月份的更新来啦!这个月我们为大家带来了不少实用的新功能和性能优化,希望能让你的大数据处理工作更加得心应手。这个月我们一共推出了 31 个新功能,修复了 18 个 bug,还做了 15 项性能优化!📊 五月更新亮点重磅功能Ngram Index - 让 LIKE '%pattern%' 查询飞起来,自带 bloom filter 加速Iceberg 功能增强 - 新增 ORC 文件
揭秘 Databend:引领云原生存算分离架构的创新实践
你了解存算分离吗?在 2025 年的今天,这已是技术圈的“常识”。存算分离,简单来说就是将计算资源与存储资源解耦,分别部署在不同的服务器或集群之上。计算层负责数据的处理与分析,存储层专注于数据的持久化和管理。每一层都可以独立扩容和收缩,实现灵活的资源调度和高可用架构。以上是存算分离的基础版本,它让企业可以按需扩展存储容量和计算能力,打破以往“一刀切”的资源瓶颈。很多主流数据平台都开始沿用这一范式,
AskTable 集成 Databend:结构化数据的 AI 查询新体验
近日,企业级智能数据分析工具 AskTable 在其产品中新增支持云原生数据湖仓 Databend。继 MySQL、PostgreSQL、ClickHouse、TiDB 等之后,Databend 成为 AskTable 支持的又一款现代分析型数据库。此次集成将自然语言分析与高性能数仓能力结合,为用户带来更便捷、更智能的数据分析体验。从写 SQL 到问问题,企业正在改变使用数据的方式随着数据持续积累
使用 Databend 全新体验!一文看懂 Databend 可视化管控平台 BendDeploy
BendDeploy 是 Databend 提供的一套基于 Kubernetes 的标准化私有部署管控平台,为用户提供一站式 Databend 数据库集群管理工具,能够快速、安全地实现 Databend 多集群、多租户的部署、管理。BendDeploy 借助直观的操作界面,为用户提供了简单易用的可视化运维体验,极大地提升运维效率,减少错误和中断,提高服务质量和稳定性。在 Data Infra 第
Databend 产品月报(2025年4月)
很高兴为您带来 Databend 2025 年 4 月的最新更新、新功能和改进!我们希望这些增强功能对您有所帮助,并期待您的反馈。BendDeploy:安装 Databend 的新方式BendDeploy 是由 Databend 开发的一款基于 Kubernetes 的平台,旨在简化和标准化 Databend 集群的部署与管理。它提供可视化、用户友好的界面,支持多集群、多租户操作,显著提升了运维效
Databend Operator: 打造开源的数据仓库部署利器
作者:王劭Databend 研发工程师在数据基础设施逐步云原生化的今天,开源数据库的商业化路径也越来越清晰。Databend Cloud 作为我们的核心产品,依托主流公有云,为数据湖仓场景提供托管服务,长期稳定承载 800 PB 以上数据,覆盖千级 QPS 在线查询、每秒千万行实时分析及 PB 级多表批处理等多样化负载。借助 Kubernetes 的弹性调度与声明式运维,平台能够按需水平扩容,同时
如何使用 Databend Cloud 化简大数据架构?| Data Infra NO.24 回顾
随着数据量的爆炸式增长和业务需求的多样化,许多企业的大数据平台在多年的演进中堆积了 Hadoop、Hive、Spark、Flink、Kafka 等数十种组件,复杂度的累积使架构演变为”难以维护的黑盒",企业用户不得不承受着传统数据架构的慢性疼痛。亚舟将在本次分享中,以用户行为分析场景为例,介绍 Databend Cloud 如何化繁为简,帮助企业摆脱复杂技术栈的束缚,快速构建端到端的数据