一、项目背景

食品行业深度分销系统的核心挑战在于：如何在10万+终端节点的规模下，实现数据的实时采集、高效处理和智能决策。本文从数据架构角度，分享我们的设计思路和实践经验。

二、数据架构设计

1. 数据分片策略

10万+终端的数据量，单库单表扛不住。我们按区域+渠道双维度分片，既保证查询效率，又避免跨片join。主数据（门店/产品/组织）采用广播表策略，同步到所有分片。

2. 实时数据管道

终端上报数据通过Kafka进入实时处理管道：
• 拜访数据→Flink实时计算→更新门店状态
• 订单数据→Flink聚合→实时库存预警
• 图像数据→CV推理服务→货架审计结果

3. 数据湖架构

采用Delta Lake构建数据湖，统一存储结构化数据（订单/库存）和非结构化数据（货架图片/日志）。支持时间旅行查询，方便做历史对比分析。

4. ERP集成方案

与SAP/Oracle的集成采用事件驱动架构：
• 主数据同步：每日全量+增量，通过CDC捕获变更
• 业务数据同步：基于消息队列的异步双向同步
• 对账机制：T+1自动对账，差异自动告警

• 读写分离：查询走从库，写入走主库
• 缓存策略：Redis缓存热点数据（门店画像/产品信息），TTL 30分钟
• 批量写入：终端数据先攒批再写入，降低数据库压力
• 异步处理：图像识别等耗时操作全部异步，不阻塞主流程

• 多可用区部署，RPO<5分钟，RTO<30分钟
• 数据库主从自动切换
• 消息队列集群，确保数据不丢失
• 移动端离线模式，网络恢复后自动同步