降本增效，作为企业持续发展的核心驱动力，不仅关乎成本控制，更在于通过技术创新提升整体运营效率。企业竞争力越来越依赖于其高效运营和精准决策的能力，两种能力的提升又需要庞大的数据支撑。企业庞大的数据急需一个安全易用的载体来承接，就目前的市场使用占有率来看数据仓库是企业的最佳选择。 

数据仓库作为企业数据管理的核心，承载着存储、整合、分析和查询企业数据的重要任务。然而，传统的数据仓库架构在扩展性、实时性和数据处理能力上逐渐暴露出局限性。随着大数据时代的到来，企业对数据的需求日益复杂多样，传统数据仓库已难以满足高效运营和精准决策的需求。因此，数据仓库架构的进化势在必行。 

对于市面上五花八门的数据仓库以及数据处理工具，到底应该如何选择，下面的一个真实案例来告诉您： 

案例导读：腾讯音乐娱乐集团（以下简称“腾讯音乐”）是中国在线音乐娱乐服务开拓者，有着广泛的用户基础，总月活用户数超过8亿，通过“一站式”的音乐娱乐平台，用户可以在多场景间无缝切换并享受多元的音乐服务。他们希望通过技术和数据赋能，为用户带来更好的体验，为音乐人和合作伙伴在音乐制作、发行、销售等方面提供支持。 

接下里将详细介绍腾讯音乐内容库如何基于ApacheDoris构建查询高效、实时写入且统一的OLAP分析引擎，使OLAP作为底层基建加强大模型与之连接转化的效率、结果输出的准确率，最终提供更智能化的问答交互服务，也希望通过这篇文章为有相关业务需求的公司提供不同视角和思路。 

数据服务早期的痛点与挑战： 

SQL查询平台：业务分析师根据需求进行SQL语句编写，对平台数据进行查询分析，每位业务人员都需要掌握SQL，导致学习成本高、上手难度大。 

固定看板（Dashboard）：技术人员基于常规业务开发制作数据看板，虽然能够简化业务分析师查询的过程，但是看板制作成本高且灵活度低，当面对复杂的用户问题时，看板无法及时调整以满足需求变更。 

定制分析工具：基于特定的业务需求，技术人员需要定制化开发产品分析工具，整体开发成本过高，且单一的开发工具不具备通用性，随着工具数量增加，操作介面变得散乱，从而降低业务效率。 

人工跑数：当以上三个场景都无法满足业务需求时，业务分析师需要向技术人员提需求进行人工跑数，沟通成本过高、整体解决效率低下。 

数据仓库架构的进化 

在平台构建的过程中，OLAP引擎作为整体架构的基建对SQL语句处理、数据存储分析、上游应用层的查询响应等有着至关重要的作用，我们希望通过架构升级以加强大模型到OLAP引擎的转化效率与结果输出准确性。 

数据仓库架构1.0 

在实际业务使用中，早期架构的数据处理方式存在大宽表带来的数据延迟与存储浪费、多套组件导致架构冗余带来指标维度重复定义、学习与运维成本高等问题，具体如下： 

1、数据延迟：处理层不支持部分列表更新，DWS层数据写入产生延迟后会造成大宽表的延迟，进而导致数据时效性下降。 

2、运维成本高：在处理层大宽表中维度数据量平均占一张大宽表的50%，且在大部份情况下变化缓慢，这意味着每一张宽表的开发会将维度数据叠加，造成存储资源的浪费、维护成本增加；在分析层中存在多引擎使用的问题，查询SQL语句需要同时适配Clickhouse与Elasticsearch两个组件，增加人力成本，且两套组件也会加大运维难度，运维成本进一步升高。 

3、架构冗余：在应用层进行指标与维度定义时，导致相同数据会进行多次定义使各种指标、维度定义口径不一致，造成权限不可控，例如上图所示的T1（标签）与M1（维度）在应用层中，被不同数据集多次定义。 

数据仓库架构2.0 

基于以上问题，我们开始对架构进行改造升级，并在众多OLAP引擎中选择了ApacheDoris来替换原有组件，主要因为ApacheDoris具备以下核心优势： 

实时导入：ApacheDoris能够支持海量业务数据的高吞吐实时写入，时效性可以做到秒级完成导入。 

引擎统一：支持Multi-Catalog功能，能够通过ElasticsearchCatalog外表查询，实现查询出口统一，查询层架构实现链路极简，维护成本也大幅降低。 

查询分析性能：ApacheDoris是MPP架构，支持大表分布式Join，其倒排索引、物化视图、行列混存等功能使查询分析性能更加高效极速。 

数据仓库架构3.0 

为了进一步提升架构性能，数据架构3.0主要将处理层中大宽表进行拆分，同时将分析层统一使用ApacheDoris作为查询分析引擎。 

数据仓库架构4.0 

4.0主要是对处理层、分析层、语义层架构进一步优化，使查询性能显著提升： 

分析层+处理层：数仓DWD层数据采用Rollup功能使事实表与维度表实时关联并创建多个视图进入DWS中。通过这种方式，分析层与处理层中的各类指标数据无需再重复定义，能够基于ApacheDoris全部写入新建的Rollup视图中并利用GROUPBY将维度传入视图进行查询加速，直接对外暴露所需数据。 

语义层：利用ApacheDoris物化视图对指标与维度自定义口径，通过语义物化层进行查询加速，并将指标与维度通过SUM加工开发衍生标签与维度数据。 

应用层：利用ApacheDoris2.0版本的倒排索引功能，对现有的索引结构进行丰富，满足了对知识库进行模糊查询、等值查询和范围查询等场景中的能力，进一步加速指标、维度查询响应速度。 

数据仓库架构升级效益总结： 

数仓架构基于ApacheDoris迭代升级，最终实现导入实时、引擎统一、查询高效的现代化湖仓OLAP引擎，简化架构链路的同时，有效解决大宽表中指标重复定义所带来的问题。 

在引入ApacheDoris后，数据架构围绕降本增效的目标，不仅在写查方面的性能得到大幅度提升，并且有效减少架构成本与资源开销，具体的收益如下： 

1、极速查询分析：通过ApacheDoris的Rollup、物化视图、倒排索引功能，由原来的分钟级查询时间达到现如今秒级毫秒级； 

2、导入性能提升：导入优化完成后，原本3000+维度、指标数据的导入时间需要超过一天，现如今能够在8小时内完成导入，导入时间缩短至原来的1/3，实现快速导入需求；更重要的是，ApacheDoris在保证数据快写入的同时，使数据能够不丢不重、准确写入； 

3、链路极简与统一：ApacheDoris将查询与分析出口引擎统一，去除Elasticsearch集群使架构链路极简； 

4、存储成本降低：通过大宽表拆分的方式，使存储成本降低30%，开发成本降低40%。 

如果对于您公司的业务以及状况遇到了类似的情况，您可以考虑来找我们（SelectDB是基于ApacheDoris构建的商业化公司，我们的产品更稳定易用）帮您解决！另外想要了解更多的相关解决方案，你可以点击查看 更多案例 ！ 

#数据仓库架构#

原文链接： 企业降本增效：数据仓库架构的进化案例分享