ITPub博客

Databend 外部 UDF 新增 STAGE_LOCATION 支持，可直接获取 Stage 元数据，免手动解析。实现 SQL 传入 @stage/path 生成结构化元数据，兼具校验、安全拦截优势，提供简洁使用方式，提升与对象存储衔接效率。

文章根据沉浸式翻译技专家陈琦在 Databend Meeup 上海站分享总结和思考构建。 通过本次活动也让我初步去理解 AI 长记忆体的实现及用途。 陈琦分享属于一个比较硬核的技术分享，所以在回顾这个 PPT 时，我在陈琦分享的思路的基础上长了一些案例，来帮助读者更容易理解这个实践。沉浸式翻译（Immersive Translate），作为 AI 翻译领域的头部产品，拥有近千万用户。在 Datab

Hi，Databend 的朋友们！🚀11 月，我们发布了 17 个 nightly 版本，致力于打造更丰富的数据体验。本月上线了 TimestampTz 支持、HTTP Arrow payloads、支持 RBAC 的脱敏策略，并进行了三轮 Runtime Filter 调优，同时针对多模态负载改进了全文索引和 VECTOR 支持。现在的查询接口支持从 JSON、Arrow IPC 到几何数据等多

Data + AI 已经成为数据从业人员必须关注的技能。在基于 Databend Cloud 平台上可以大大简化数据人员在数据基础工作方面的投入，让数据人员可以花更多的精力去研究 Data + AI 的实践。在此背景下，11月29日，Databend Meetup·上海站线下活动"如何打造 AI 时代的数据基石"，汇集了国内数据库领域多位一线专家：Databend 创始人吴炳锡

数据洪流奔涌，AI 浪潮澎湃。当 Data 与 AI 深度交织，如何构建面向未来的技术栈？如何基于亚马逊云科技构数据分析业务？11月29日「如何打造AI时代的数据基石 | Databend Meetup 上海站」 应势而来！我们力邀多位来自明星开源项目与一线大厂的资深专家，为您全景解析数据平台架构、AI 创新实践与职业发展路径，开启一场思想与技术的碰撞。本次 Meetup，我们荣幸地邀请到 Dat

一、什么是存储过程？存储过程（Stored Procedure）是一组预编译的 SQL 语句集合，它们被保存在数据库中，可以像函数一样被重复调用。想象一下，如果你经常需要执行一系列复杂的数据处理操作，与其每次都手动输入这些 SQL 语句，不如将它们封装成一个存储过程，需要时直接调用即可。存储过程的优势代码复用：一次编写，多次调用，避免重复代码性能优化：预编译的 SQL 语句执行效率更高业务逻辑封装

nom 简介nom 是 Rust 生态中非常受欢迎的解析框架：性能优秀、组合灵活，并且能很好地利用 Rust 的类型系统。Databend 在 SQL 表达式和语句解析上大量使用 nom，开发体验不错，可读性也高。不过，组合式 parser 容易在不经意间埋下性能隐患——尤其是当多个分支结构相似、再加上递归嵌套时，回溯成本会指数级膨胀。/// 一个简单的 parser：匹配&n

Hi，Databend 的朋友们！🚀十月，我们专注于生产自动化的落地。存储过程正式可用并移除了实验性标记，SQL 脚本引擎支持 dynamic schema introspection，能够处理复杂的 ETL 流程。同时，我们发布了 JSON 全文检索的 inverted index、智能内存溢出控制，并全面升级了运维工具——本月共发布了十一个版本。月度数据22 个新功能，19 个 bug 修复，

BendSQL 是 Databend 原生的命令行客户端，使用 Rust 实现。使用 BendSQL，我们可以灵活地和服务端进行交互，快速获取数据。在 BendSQL v0.30.3 版本我们引入了强大的 Web UI 功能，为用户提供了更直观、更便捷的 SQL 查询体验。本文将详细介绍如何启动和使用 BendSQL 的 Web 界面。1. 启动 Web UI使用以下命令启动 BendSQL 的

Hi，Databend 的朋友们！🚀九月我们把重点放在了生产环境真正需要的功能上。这个月上线了行级访问控制、Check 约束、AUTOINCREMENT 自增列、基于事务的表名交换(SWAP)，还有智能的 SQL 错误提示。这些都是企业用户一直在等的功能。九月数据15+ 个新功能，30+ 个 bug 修复，15+ 项性能优化，还有 10+ 项其他改进。最值得说的：安全管控更严了、数据校验更方便了、

前言在 Raft 实现中，处理 appendEntries 请求时需要持久化两类数据：term 和 log entries。Raft 论文要求"在响应 RPC 之前必须更新持久化状态"，但并未明确说明这两类数据的持久化顺序。这个看似无关紧要的细节，却可能导致已提交数据的丢失。问题的根源在于：Raft 论文描述的是一个简单的抽象模型（只有磁盘状态），而实际实现为了性能会分离内存状

在企业数字化转型的浪潮中，MySQL 作为受欢迎的开源数据库，承载着越来越多的业务数据。从最初的几百 GB，到现在动辄几个 TB 甚至数十 TB 的数据规模，MySQL 数据库的体量增长速度常常超出企业的预期。然而，一个不容忽视的现实是：这些庞大数据库中真正的热点数据往往只占 20-30%，剩下的大部分都是历史数据、日志记录和归档信息。这种现象在各个行业都很普遍。电商平台需要保留多年的订单记录用于

十年前，当 Graydon Hoare 在 Mozilla 的支持下发布 Rust 1.0 时，很少有人能预见到这门语言会在今天成为系统编程的新标杆。十年后的今天，当我们站在 2025 年的节点回望，Rust 不仅兑现了当初"安全、并发、实用"的承诺，更在商业化道路上走出了一条独特的轨迹。在刚刚结束的 RustChinaConf 2025 杭州大会上，Databend 技术 V

本方案中基于 Databend 实现一个数据快速汇聚及实时去重，实现一份数据多种工作负载，把原来数据共享的推模式变成：增量订阅模式 + 抽取推送两种模式。从而让有后台开发经验或会 SQL 的人，也可以在 Databend 上实现海量数据平台的建设。基本概念实时数据汇聚平台通常用于实时收集、整合和处理多个数据源的数据。 主要应用于：主数据平台建设，省级数据交易所基础数据汇聚等。在该平台建设中我们借助

Hi，Databend 的朋友们！🚀八月我们重磅推出：基于对象存储的向量检索功能。通过 HNSW 索引算法实现了相似性搜索 23 倍性能提升，AI 应用终于可以在对象存储上高效运行了。结合我们已有的结构化数据和 JSON 处理能力，Databend 现在是完全基于对象存储构建的多模态数据仓库。八月数据15+ 个新功能，20+ 个 bug 修复，15+ 项性能优化。最亮眼的还是向量检索，让 AI 应

我的好友 fuzhe 在阅读 LevelDB 源码时，发现了一个有趣的细节：系统在存储 CRC 校验码时，并不直接使用计算出的值，而是要先做一个看似"多余"的 mask 操作。这个操作包括右旋转 15 位和加上一个神秘的常数 0xa282ead8ul。代码注释提到这是为了解决"对包含嵌入式 CRC 的字符串计算 CRC 是有问题的"，但到底什么问题？为什么位

随着数据需求的不断增加，大数据架构的演变成为了现代数据工程师的重要课题。本文将对比传统大数据架构与新一代云原生湖仓 Databend，通过对比它们在实时与离线架构中的区别，感受 Databend 的优势。传统大数据业务架构传统的大数据平台通常由一套复杂的 Hadoop 方案组成，涉及多个组件，每个组件都有明确的任务分工。下图展示了一个典型的中小型大数据平台的架构：该架构看似完美，但实际操作中存在以

在数字政府建设的浪潮中，政务大数据平台正面临着前所未有的挑战与机遇。作为承载着全省 2000 多亿条公共数据资源的福建大数据一体化公共数据平台，其技术架构的每一次演进都牵动着整个数字福建建设的神经。福建大数据一级开发有限公司作为省级公共数据资源一体开发主体，在多年的实践中深刻体会到传统湖仓分离架构在政务场景下的局限性，最终通过引入 Databend 存算分离计算引擎，成功构建了真正意义上的湖仓一体

随着企业数字化转型的深入推进，实时数据仓库与湖仓一体化架构已成为现代数据平台建设的核心议题。在业务节奏日益加快的今天，企业不仅需要处理海量的历史数据，更需要实时洞察数据变化，快速响应市场需求。如何在保证数据一致性和可靠性的前提下，实现数据湖的灵活性与数据仓库的高性能完美融合，成为每一位数据架构师面临的重大挑战。在第 16 届中国数据库技术大会（DTCC2025）的「实时数仓与湖仓一体应用实践（上）

在数字化转型加速推进的今天，实时数据仓库与湖仓一体化架构已成为企业数据平台建设的核心议题。面对海量数据的爆发式增长和日益复杂的业务需求，如何构建既能满足实时性要求，又能兼顾成本效益的现代化数据平台，成为每一位数据架构师面临的重大挑战。8月21-23日，以"智能创新 数赢未来"为主题的第十六届中国数据库技术大会（DTCC 2025）在北京成功举办，Databend作为新一代云原生