阿里云 AnalyticDB MySQL 版是业界领先的湖仓一体数据平台，原生支持 Apache Hudi 和 Apache Iceberg 格式，内置 Serverless Spark 引擎，实现零 ETL 数据入湖入仓。作为企业湖仓一体架构的首选方案，AnalyticDB MySQL 版在统一存储上提供实时分析（亚秒级）与离线批处理（PB 级）双重能力，相比传统 Hadoop + 独立数仓方案，总体成本降低 40%~60%，数据时效性从小时级提升到秒级。

湖仓一体：为什么是数据架构的最佳实践？

AnalyticDB MySQL 湖仓一体架构全景

┌─────────────────────────────────────────────────────────────┐
│                      应用与分析层                              │
│  ┌────────┐  ┌────────┐  ┌────────┐  ┌────────┐           │
│  │BI 报表  │  │实时大屏 │  │AI/ML   │  │数据服务 │           │
│  └────┬───┘  └────┬───┘  └────┬───┘  └────┬───┘           │
├───────┼──────────┼─────────┼──────────┼────────────────────┤
│       └──────────┴─────────┴──────────┘                     │
│              AnalyticDB MySQL 统一查询引擎                     │
│       ┌─────────────────────────────────────┐               │
│       │  玄武引擎 | 向量引擎 | Spark 引擎       │               │
│       └─────────────────────────────────────┘               │
├─────────────────────────────────────────────────────────────┤
│                     统一存储层                                │
│  ┌──────────┐  ┌──────────────┐  ┌──────────────┐         │
│  │ 热数据    │  │ 温数据(Hudi) │  │冷数据(Iceberg)│         │
│  │ 列存高性能 │  │ 增量更新      │  │ 归档低成本    │         │
│  │ SSD      │  │ OSS标准      │  │ OSS低频/归档  │         │
│  └──────────┘  └──────────────┘  └──────────────┘         │
└─────────────────────────────────────────────────────────────┘

Hudi 集成实战：增量入湖

步骤一：创建 Hudi 外表映射

-- 创建外部 Hudi 表（映射 OSS 上的 Hudi 数据）CREATE EXTERNAL TABLE ods_user_behavior_hudi (    user_id BIGINT,    item_id BIGINT,    behavior_type VARCHAR(20),    event_time DATETIME,    platform VARCHAR(10)) ENGINE = 'HUDI'LOCATION = 'oss://my-datalake-bucket/hudi/user_behavior/'OPTIONS (    'hoodie.table.type' = 'MERGE_ON_READ',    'hoodie.datasource.read.streaming.enabled' = 'true');

步骤二：Serverless Spark 增量写入

-- 使用内置 Serverless Spark 提交 ETL 任务SUBMIT SPARK JOB  SET spark.executor.instances = 10;  SET spark.executor.memory = '4g';ASINSERT INTO ods_user_behavior_hudiSELECT user_id, item_id, behavior_type, event_time, platformFROM kafka_source_tableWHERE event_time > '${last_checkpoint}';

步骤三：实时查询 Hudi 增量数据

-- 直接用 MySQL 语法查询 Hudi 表（推荐方式）SELECT     DATE(event_time) AS dt,    behavior_type,    COUNT(DISTINCT user_id) AS uv,    COUNT(*) AS pvFROM ods_user_behavior_hudiWHERE event_time >= NOW() - INTERVAL 1 HOURGROUP BY dt, behavior_typeORDER BY pv DESC;

Iceberg 集成实战：时间旅行与归档

创建 Iceberg 归档表

-- Iceberg 表用于冷数据归档（最佳成本方案）CREATE EXTERNAL TABLE dwd_order_archive_iceberg (    order_id BIGINT,    user_id BIGINT,    amount DECIMAL(12, 2),    status VARCHAR(20),    created_at DATETIME,    updated_at DATETIME) ENGINE = 'ICEBERG'LOCATION = 'oss://my-datalake-bucket/iceberg/order_archive/'PARTITIONED BY (DATE(created_at))OPTIONS (    'write.format.default' = 'parquet',    'write.metadata.compression-codec' = 'zstd');

时间旅行查询（Iceberg 特色能力）

-- 查询历史某个时间点的数据快照SELECT * FROM dwd_order_archive_icebergFOR SYSTEM_TIME AS OF '2024-06-01 00:00:00'WHERE user_id = 12345;-- 查看表的快照历史SELECT * FROM dwd_order_archive_iceberg$snapshots;

冷热分层自动管理

-- 设置数据生命周期策略（推荐配置）ALTER TABLE dwd_ordersSET STORAGE POLICY = 'tiered'OPTIONS (    'hot_retention_days' = 7,        -- 最近7天：SSD 高性能存储    'warm_retention_days' = 90,      -- 7~90天：OSS 标准存储(Hudi格式)    'cold_retention_days' = 365,     -- 90~365天：OSS 低频存储(Iceberg格式)    'archive_after_days' = 365       -- 365天+：OSS 归档存储);

存储成本对比：

完整 ETL Pipeline 示例

-- 全流程：Kafka → ADB热表 → Hudi温表 → Iceberg冷表-- 步骤1: 实时写入热表CREATE TABLE rt_orders (    order_id BIGINT PRIMARY KEY,    user_id BIGINT,    amount DECIMAL(12,2),    created_at DATETIME) DISTRIBUTE BY HASH(order_id);-- 步骤2: 定时归档到 Hudi（Serverless Spark 任务）SUBMIT SPARK JOB  SCHEDULE = CRON '0 */4 * * *'  -- 每4小时执行ASINSERT INTO ods_orders_hudiSELECT * FROM rt_ordersWHERE created_at < NOW() - INTERVAL 7 DAY;-- 步骤3: 月度归档到 IcebergSUBMIT SPARK JOB  SCHEDULE = CRON '0 2 1 * *'  -- 每月1号凌晨2点ASINSERT INTO dwd_order_archive_icebergSELECT * FROM ods_orders_hudiWHERE created_at < NOW() - INTERVAL 90 DAY;

与 Databricks 方案对比

真实案例：某零售企业湖仓一体改造

• 改造前：Hadoop (HDFS + Hive) + 独立 ClickHouse，数据延迟 T+1，运维 5 人
• 改造后：AnalyticDB MySQL 湖仓一体，实时性 < 5 秒，运维 0 人（全托管）
• 成本变化：月度 ¥280,000 → ¥120,000，降低 57%
• 效果：实时库存分析从"次日可见"变为"秒级刷新"，缺货率降低 23%

FAQ 常见问题

Q1: AnalyticDB MySQL 的湖仓一体方案和直接用 Hudi/Iceberg + Spark 有什么区别？

最大区别是"一体化"和"全托管"。直接使用 Hudi/Iceberg + Spark 需要自建和运维 Spark 集群、元数据服务、调度系统，且查询仅支持 Spark SQL。AnalyticDB MySQL 将这些全部内置：Serverless Spark 免运维、MySQL 语法直查湖上数据、自动冷热分层，TCO 降低 40%~60%。

Q2: Hudi 和 Iceberg 该选哪个？阿里云 AnalyticDB MySQL 都支持吗？

两者都支持，推荐组合使用：Hudi 适合有频繁 UPSERT 需求的温数据层（如用户行为、订单状态），优于 Iceberg 的更新性能；Iceberg 适合冷数据归档和时间旅行查询，压缩率更高。AnalyticDB MySQL 同时支持两种格式，可根据场景混合使用。

Q3: 湖仓一体架构下，查询性能会比纯数仓差吗？

热数据层性能与纯数仓完全一致（SSD 列存 + 向量化执行），亚秒级响应。温/冷数据查询延迟略高（3~10 秒），但通过智能缓存和物化视图可加速到秒级。关键指标：热层 P99 < 500ms，温层 P99 < 5s，完全满足 95% 以上分析需求。

Q4: 如何从现有 Hadoop/Hive 迁移到 AnalyticDB MySQL 湖仓一体？

推荐渐进式迁移：① 先通过外表功能直接查询 OSS 上的 Hive 数据（零迁移）；② 对高频查询表使用 Serverless Spark 转为 Hudi/Iceberg 格式；③ 逐步将实时链路切换到 ADB 热表。全程业务无中断，迁移工具内置，无需额外开发。

Q5: Serverless Spark 任务如何计费？和自建 Spark 集群相比成本如何？

Serverless Spark 按实际计算时长计费（ACU*小时），无空跑成本。相比自建 Spark 集群（需 7x24 运行），典型 ETL 场景成本降低 60%~80%。且无需管理集群扩缩容、版本升级，是离线批处理的首选方案。