Apache Doris 2.1.6 版本已于 2024 年 9 月 10 日正式发布。 2.1.6 版本在 Lakehouse、异步物化视图、半结构化数据管理持续升级改进，同时在查询优化器、执行引擎、存储管理、数据导入与导出以及权限管理等方面完成了若干修复。欢迎大家下载使用。
行为变更
-
移除
create repository命令中的delete_if_exists选项。 -
新增会话变量
enable_prepared_stmt_audit_log，用于控制 JDBC 预编译语句是否记录审计日志，默认不记录。 -
采用文件描述符限制和内存限制来管理 Segment Cache。
-
sys_log_mode配置项设置为BRIEF时，在日志中增加文件位置信息，以提供更详细的上下文。 -
将会话变量
max_allowed_packet的默认值调整为 16MB，提高数据传输限制。 -
在单次请求中，若包含多个 SQL 语句，各语句间必须使用分号进行分隔，以增强语句的清晰度和执行效率。
-
现在支持 SQL 语句以分号开始，提供更灵活的语句书写方式。
-
在执行如
show create table等语句时，类型格式与 MySQL 保持一致，提升与 MySQL 的兼容性。 -
当新优化器规划查询超时后，不再回退到旧优化器，以避免潜在的性能下降问题。
新功能
Lakehouse
-
实现 Iceberg 表的写回功能。
-
更多信息，请查看文档数据湖构建-
-
-
增强 SQL 拦截规则，支持对外表的拦截处理。
-
更多信息，请查看文档查询管理-
-
-
新增系统表
file_cache_statistics，用于查看 BE 节点的数据缓存性能指标。-
更多信息，请查看文档系统表-
-
异步物化视图
-
支持在 Insert 中进行透明改写。
-
支持对查询中存在 VARIANT 类型时的透明改写。
半结构化数据管理
-
支持 ARRAY MAP 类型到 JSON 类型的 CAST 转换功能。
-
引入
json_keys函数，用于提取 JSON 中的键名。 -
支持在导入 JSON 时指定
json path$`` -
ARRAY / MAP / STRUCT 类型支持
replace_if_not_null -
允许调整 ARRAY / MAP / STRUCT 类型的列顺序。
-
新增
multi_match函数，支持在多个字段中匹配关键词，并利用倒排索引加速查询。
查询优化器
-
完善 MySQL 协议返回列的信息，包括原始数据库名、表名、列名和别名。
-
增强聚合函数
group_concat，支持同时使用order by和distinct进行复杂数据聚合。 -
改进了 SQL 缓存机制，支持通过注释区分不同的查询以复用缓存结果。
-
增强分区裁剪功能，支持在过滤条件中使用
date_trunc和date函数。 -
允许在表别名前使用数据库名作为限定名前缀。
-
支持 Hint 格式注释。
执行引擎
-
Group concat函数现支持distinct和order by选项。
Others
-
新增系统表
table_properties，便于用户查看和管理表的各项属性。-
更多信息，请查看文档
-
-
新增 FE 中死锁和慢锁检测功能。
-
更多信息，请查看文档
-
改进提升
Lakehouse
-
革新外表元数据缓存机制。
-
更多信息，请查看文档 。
-
-
新增会话变量
keep_carriage_return，默认关闭。读取 Hive Text 格式表时，默认将\r\n与\n均视为换行符。 -
优化 Parquet / ORC 文件读写内存统计。
-
Paimon 表支持 IN/ NOT IN 谓词下推。
-
升级优化器，支持 Hudi 表的 Time Travel 语法。
-
Kerberos 认证流程优化，提升安全认证效率与稳定性。
-
支持 Rename column 操作后读取 Hive 表。
-
提升外表分区列读取性能。
-
优化外表查询规划，优化数据分片合并策略，有效避免小分片对查询性能的影响。
-
SHOW CREATE DATABASE / TABLE 新增 Location 等属性展示。
-
MaxCompute Catalog 扩展支持复杂类型。
-
优化文件缓存加载策略，通过异步加载方式避免 BE 启动时间过长的问题。
-
升级文件缓存淘汰策略，有效管理长时间占用锁的资源。
异步物化视图
-
支持小时、周及季度级别的分区上卷构建。
-
基于 Hive 外表的物化视图，在刷新前自动更新元数据缓存，以保证每次刷新可以获取最新数据。
-
通过批量获取元数据，优化存算分离模式下的透明改写规划性能。
-
通过禁止重复枚举，进一步提升透明改写的规划性能。
-
优化基于 Hive 外表分区刷新物化视图的透明改写性能。
半结构化数据管理
-
优化 TOPN 查询内存分配，显著提升查询性能。
-
优化倒排索引字符串处理性能。
-
优化倒排索引在 MOW 表中的性能。
-
建表时支持指定行存
page_size，以控制压缩效果。
查询优化器
-
调整 Mark Join 行数估计算法，提高基数估算准确性。
-
优化 Semi / Anti Join 代价估计算法，能够正确选择最佳 Join 顺序。
-
调整部分列无统计信息情况下的过滤估计算法，使估算更精准。
-
改进 Set Operation 算子 Instance 计算逻辑，防止在极端情况下并行度不足的问题。
-
优化 Bucket Shuffle 使用策略，数据打散不充分时也能获得更好的性能。
-
窗口函数数据提前过滤，支持单投影中存在多窗口函数的情况。
-
过滤条件含
NullLiteral时，智能折叠为 False，转换为EmptySet，减少不必要的数据扫描量。 -
扩大谓词推导适用范围，在特定模式的查询下能够大幅减少数据扫描量。
-
在分区裁剪中支持部分短路计算逻辑，以提升分区裁剪性能。在特定场景下，性能提升超过100%。
-
在用户变量中，支持计算任意的标量函数。
-
当查询中存在别名冲突时，报错信息能够保持与 MySQL 一致。
执行引擎
-
实现 AggState 从 2.1 到 3.x 版本的兼容，并解决了 coredump 问题。
-
重构无 Join 操作时的 Local Shuffle 策略选择机制。
-
将内部表查询的 scanner 调整为异步模式，以防止查询内部表时出现卡顿。
-
优化 Join 算子在构建 Hash 表时的 Block Merge 流程。
-
缩短 MultiCast 持有锁的时间。
-
优化 gRPC 的 keepAliveTime 设置并增加了链接监测机制，降低了因 RPC 错误导致的查询失败率。
-
当内存超出限制时，将清理
jemalloc中的所有 Dirty Pages。 -
提升
aes_encrypt/decrypt函数对常量类型的处理效率。 -
加快
json_extract函数对常量数据的处理速度。 -
提高
ParseUrl函数处理常量数据的性能。
存储管理
备份恢复 / 跨集群同步
-
Restore 功能现已支持删除多余的 Tablet 和分区选项。
-
在创建 Repository 时，支持检查存储连通性。
-
Binlog 支持 Drop 表操作，使 CCR 能够支持 Drop 表的增量同步。
Compaction
-
改进高优 Compaction 任务不受并发控制限制的问题。
-
根据数据特性自动调整 Compaction 的内存消耗。
-
修复顺序数据优化策略可能引发的聚合表或 MOR UNIQUE 表数据准确性问题。
-
优化补副本期间 Compaction 选择 rowset 的策略，以避免触发 -235 错误。
Merge-on-Write
-
解决了列更新和 Compaction 并发时列更新慢的问题。
-
修复一次导入大量数据时，Segcompaction 可能导致 MOW 数据不正确的问题。
-
解决 BE 重启后，可能导致列更新数据丢失的问题。
其他
-
增加了 FE 配置，用于控制冷热分层下查询是否优先访问本地数据的副本。
-
解决了过期的 BE 汇报消息未包含新创建 Tablet 的问题。
-
优化副本调度优先级策略，优先调度缺少数据的副本。
-
对于有未完成 ALTER JOB 的 Tablet，不进行均衡调度。
-
List 分区方式的表现支持修改分桶数。
-
优先选择在线的磁盘服务进行查询。
-
改进了同步物化视图的 Base 表不支持删除时的提示信息。
-
改进了单列超过 4G 时的报错信息。
-
修复了 Insert 语句遇到 Plan 错误时未正确中止事务的问题。
-
修复了 SSL 链接关闭时的异常问题。
-
修复了使用 Label 中止事务时未持有表锁的问题。
-
修复了 Gson Pretty 导致 Image 过大的问题。
-
修复了 CREAT TABLE 语句在新优化器下未检查 Bucket 为 0 的问题。
-
修复了 DELETE 条件谓词中包含中文列时报错的问题。
-
修复了分区均衡模式下频繁均衡 Tablet 的问题。
-
修复了分区丢失 Storage Policy 属性的问题。
-
修复了事务内导入多个表时统计信息不正确的问题。
-
修复了 Random 分桶表删除时报错的问题。
-
修复了 UDF 不存在导致 FE 无法启动的问题。
-
修复了 FE 主从 Last Failed Version 不一致的问题。
-
修复了 Schema Change Job 被取消时，相关 Tablet 可能仍处于 Schema Change 状态的问题。
-
修复了单个语句修改类型和列顺序 SC 时出现的报错问题。
数据导入
-
改进了导入发生 -238 错误时的错误信息提示。
-
实现在 Restore 分区时，其他分区可以同时进行导入。
-
优化了 Group Commit FE 选择 BE 的策略。
-
对于一些常见的 Stream Load 错误信息，避免了程序栈的打印，简化了错误处理。
-
改进下线的 BE 可能影响导入出错的问题。
权限管理
-
优化了开启 Ranger 鉴权插件后的访问性能。
-
优化了 Refresh Catalog / Database / Table 操作的权限策略，用户仅需 SHOW 权限即可执行此操作。
Bug 修复
Lakehouse
-
修复切换 Catalog 时可能出现的数据库找不到问题。
-
解决了读取 S3 上不存在的数据时出现的异常报错。
-
修正导出操作时，指定异常路径可能导致导出位置异常的问题。
-
修复 Paimon 表时间列时区问题。
-
临时关闭 Parquet PageIndex 功能以避免部分错误行为。
-
修复外表查询时，错误选取黑名单中 Backend 节点的问题。
-
解决读取 Parquet Struct 列类型中缺失子列导致查询错误的问题。
-
修复 JDBC Catalog 的谓词下推问题。
-
修正 Parquet 格式读取时，历史格式导致查询结果错误的问题。
-
增强了 Oracle JDBC Catalog 对 OJDBC6 驱动的兼容性。
-
解决了 Refresh Catalog/Database/Table 操作可能导致的 FE 内存泄漏问题。
-
修复了 JDBC Catalog 在某些情况下的线程泄漏问题。
-
修复开启 Hive Metastore 事件订阅后，可能出现事件处理失败的问题。
-
禁止读取自定义 Escape CHAR 和 NULL Format 的 Hive Text 格式表，防止数据错误。
-
修复某些情况下，无法访问通过 Iceberg API 创建的 Iceberg 表的问题。
-
修复无法读取存储在开启高可用的 HDFS 集群上的 Paimon 表的问题。
-
修复开启文件缓存后，读取 Paimon 表 Deletion Vector 可能导致错误的问题。
-
修复某些情况下读取 Parquet 可能导致死锁的问题
异步物化视图
-
修复无法在 Follower FE 上使用
show create materialized view命令的问题。 -
统一异步物化视图在元数据中的对象类型，使其在数据工具中正常显示。
-
修复嵌套异步物化视图总是进行全量刷新的问题。
-
修正 Cancel 任务在重启 FE 后状态可能显示为 running 的问题。
-
修复错误使用上下文，导致刷新物化视图任务可能非预期失败的问题。
-
修复基于外表创建异步物化视图时，VARCHAR 类型因长度不合理导致写入失败的问题。
-
修复 FE 重启或 Catalog 重建后，基于外表的异步物化视图可能失效的问题。
-
禁止 List 分区的物化视图使用分区上卷，以防止生成错误数据。
-
修复在聚合上卷透明改写时，SELECT List 中存在字面量导致的结果错误问题。
-
修复当查询中存在形如
a = a的过滤条件时，透明改写可能出错的问题。 -
修复透明改写直查外表无法成功的问题。
半结构化数据管理
-
删除老优化器上
PreparedStatement的支持。 -
修复 JSON 转义字符处理的问题。
-
修复 JSON 字段重复处理的问题。
-
修复部分 ARRAY MAP 函数的问题。
-
修复倒排索引查询和 LIKE 查询复杂组合的问题。
查询优化器
-
修复分区过滤条件中存在
or时，可能导致分区裁剪错误的问题。 -
修复存在复杂表达式时，可能导致的分区裁剪错误的问题。
-
修复 AGG_STATE 类型中的子类型，Nullable 可能规划不正确导致执行报错的问题。
-
修复 Set Operation 算子 Nullable 可能规划不正确，导致执行报错的问题。
-
修复 Intersect 算子执行优先级不正确的问题。
-
修复当查询中存在最大合法日期字面量时，可能出现 NPE 的问题。
-
修复偶现的规划报错，导致的执行时报错 Slot 不合法的问题。
-
修复重复引用 CTE 中的列，可能导致结果缺少部分列数据的问题。
-
修复在查询中存在 CASE WHEN 时，偶现的规划报错问题。
-
修复不能将 IP 类型隐式转换为 STRING 类型的问题。
-
修复在使用多维聚合时，当 SELECT List 中存在相同列和其别名时，可能出现的规划报错问题。
-
修复使用 BE 常量折叠时，处理 BOOLEAN 类型可能不正确的问题。
-
修复在表达式中存在
default_cluster:作为 Database 名称前缀导致的规划报错问题。 -
修复 Insert Into 可能导致的死锁问题。
-
修复没有在规划全过程持有表锁导致可能出现规划报错的问题。
-
修复创建表时不能正确处理 CHAR(0), VARCHAR(0)的问题。
-
修复 SHOW CREAT TABLE 可能错误的显示出隐藏列的问题。
-
修复创建表时没有禁止使用和隐藏列同名列的问题。
-
修复在执行 INSERT INTO AS SELECT 时，如果存在 CTE，偶现的规划报错问题。
-
修复 INSERT INTO VALUES 无法自动填充 NULL 默认值的问题。
-
修复在 DELETE 中使用 CTE，但是没有使用 USING 时，导致的 NPE 问题。
-
修复对随机分布的聚合模型表执行删除操作会失败的问题。
执行引擎
-
修复多个场景下，Pipeline 执行引擎被卡顿，导致查询不结束的问题。
-
修复了 NULL 和非 NULL 列在差集计算时导致的 Coredump 问题。
-
修复了
width_bucket函数结果错误的问题。 -
修复了当单行数据很大且返回结果集也很大时（超过 2GB）查询报错的问题。
-
修复了
stddev在DecimalV2类型下结果错误的问题。 -
修复了
MULTI_MATCH_ANY函数导致的 Coredump 问题。 -
修复了 INSERT OVERWRITE AUTO PARTITION 导致事务回滚的问题。
-
修复了
convert_tz函数结果错误的问题。 -
修复了
collect_set函数结合窗口函数使用时 Coredump 的问题。 -
修复了
mod函数在异常输入时导致的 Coredump 问题。 -
修复了多线程下执行相同表达式可能导致 Java UDF 结果错误的问题。
-
修复了
conv函数返回类型错误导致的溢出问题。 -
修复了
histogram函数结果不稳定的问题。
存储管理
-
修复备份恢复后，写入数据时可能出现不可读的问题。
-
修复跨版本 Restore Version 使用问题 。
-
修复 Backup 失败时 Job 没有取消的问题。
-
修复 2.1.4 升级到 2.1.5 CCR 报 NPE，导致 FE 不能启动的问题。
-
修复 Restore 之后视图和物化视图不能使用的问题。
数据导入
Routine Load
-
修复 Routine Load 一 流多表可能得内存泄露的问题。
-
修复 Routine Load 包围符和转义符不生效的问题。
-
修复 Routine Load 任务名包含大写字母时
show routineload结果不正确的问题。 -
修复改变 Routine Load Topic 时没有重置 Offset Cache 的问题。
-
修复并发情况下
show routineload可能触发异常的问题。 -
修复 Routine Load 可能重复导入数据的问题。
Group Commit
-
修复 JDBC 方式下打开 Group Commit 时 setNull 导致的数据报错问题
-
修复打开
group commit insert发往非 Master FE 时可能导致 NPE 问题 -
修复 Group Commit 内部写数据错误处理不正确的问题。
-
修复 Group Commit 执行规划失败时可能触发的 Coredump。
其它
-
修复并发导入 Auto Partition 表可能报 Tablet 不存在的问题。
-
修复可能的 Load Stream 泄露问题。
-
修复 INSERT INTO SELECT 没有数据时开启事务的问题。
-
使用 Memtable 前移时忽略单副本导入的配置。
-
修复后台导入
stream load record遇见 Database 删除时异常中止的问题。 -
修复 Strict Mode 模式下，出现数据错误时错误信息提示不准确的问题。
-
修复 Stream Load 遇见错误数据不返回 Error URL 的问题。
-
修复 Insert Overwrite 和 Auto Partition 配合使用的问题。
-
修复 CSV 遇到行分隔符被包围符包围数据时解析错误的问题。
数据导出
-
修复导出操作中指定
delete_existing_files属性后，可能会重复删除导出数据的问题。
权限管理
-
修复创建物化视图时，错误地要求拥有 ALTER TABLE 的权限的问题。
-
修复
show routine load时，Database 显式为空的问题。 -
修复
create table like错误的要求拥有对原表的创建权限的问题。 -
修复赋权操作没有检查对象是否存在的问题。
版本升级说明
Doris 升级请遵守不要跨两个二位版本升级的原则，依次往后升级。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/70017904/viewspace-3028504/ ，如需转载，请注明出处，否则将追究法律责任。
最新文章
- Apache Doris x Fluss：面向湖流一体的统一查询与分析
- Apache Doris 高性能 Open Lake Variant 读写技术解析（含对比数据）
- StarRocks 迁移至 Apache Doris 完整指南：三步完成结构、数据与业务平滑切换
- 快手基于 Apache Doris 千亿多模态检索的实践
- 某头部保险公司基于 SelectDB 的统一 OLAP 架构实践
- Doris 直查 Paimon 索引：快手湖上向量检索的共建与落地
- Apache Doris+ Paimon 2.0：构建 Agentic AI 数据闭环
- Apache Doris + Lance：让多模态数据真正进入智能驾驶与具身智能的分析闭环
- Apache Doris 5.0 年度版本前瞻（一）：构建统一的多模湖仓实时分析平台
- 统一全文检索与 SQL 分析：Apache Doris 日志分析实践
