“组建国家数据局”的国务院机构改革方案议案无疑是今年“两会”期间，科技领域最备受瞩目的话题。

根据该预案，数据局作为国家发展和改革委员会管理的国家局，将负责协调推进数据基础制度建设，统筹推进数字中国、数字经济、数字社会规划和建设等工作。

事实上，国家数据局的建立是“意料之外，情理之中”的。近年以来，国家政策层面有关数据的立法与政策支持层出不穷，从《数据安全法》到《数字中国建设整体布局规划》，涉及数据基础设施建设、数据分析、数据安全、数据确权等各个方面。

这不仅意味着数字经济在国民经济中发挥的重要价值已在国家层面形成共识，还代表着通过行之有效的方式治理数据，帮助全球企业在降本增效的前提下创造新的商业价值，将是企业业务创新的源泉，也是数据时代里的核心竞争力。

面向数字时代的海量数据和智能化、自主可控的需求，数据仓库作为将数据“落地”业务场景，实现决策支持的关键技术环节，在我国正迎来新的市场机遇与发展浪潮。

大数据时代，数据仓库的“两朵乌云”

数据作为大数据时代企业的核心资产，其重要性不言而喻。但随着移动互联网、AI、5G等技术的发展，数据规模的爆炸式增长、数据来源和数据类型的多元化，正在重塑数据分析、数据挖掘的内涵，与之相伴的，则是数据仓库建设上面临的新挑战——高并发与实时计算这两朵乌云。

银行业作为我国最早开始数字化转型、最早应用数据仓库技术的行业之一，真正完整地经历了数据仓库建设和大数据建设的两个十年周期，对此的感受尤为真切。

“传统的数据仓库产品已经不能满足金融业数据驱动的新发展特点，更无力帮助金融机构构建起完善的数据资产体系。” 交通银行软件开发中心总经理刘雷曾在一次采访中表示。

一方面，由于数据量的增长和数据源的多样化，数据仓库的弹性扩容和兼容多种数据类型的能力就尤为重要。而传统的数据仓库往往采用软硬件结合的一体机模式，扩容成本高，能够处理的数据结构相对单一，因此对高并发的海量数据处理显得“力不从心”。

另一方面，随着银行由线下模式主导的同质化竞争转向以线上差异化能力竞争，数据仓库需要支持不断涌现的新场景下的用户需求和针对这些新场景产生的监管新要求，即不仅需要提供“丝滑”的用户体验，还需要更加精准、快速的数据分析能力。

这就要求数据分析从“事后”不断前移，贴近数据产生的时间，最终满足实时计算、实时推理决策。而传统数据仓库需要严格、审视的定义schema，即选取哪些数据维度、如何构建分析表单等问题，涉及对银行诸多部门的需求分析与验证，因此数据建模路径长、时间久，从而难以跟上实时性数据分析的脚步。

与此同时，传统的数据仓库大部分是国外厂商的天下。IDC中国研究经理王楠表示，“随着移动互联网时代的到来，数据量爆发增长，在对海量数据管理方面，部署这些海外产品的成本是十分高昂的。”加之国外厂商运维门槛高、原厂服务响应周期长，且对个性化定制的支持度低，当国内企业对产品性能、稳定性、创新性和自主可控等能力提出更高要求时，继续使用传统数据仓库将让管理和运维面临着安全和成本的双重问题。

这些困难正如十九世纪笼罩在物理学上的乌云，将我国的数据仓库应用实践带到了新旧技术更迭的关键时刻，数据仓库领域正呼唤新的技术与解决方案。

数据仓库技术更迭的奇点时刻

那么，数智化时代，我们到底需要怎样的数据仓库产品呢?

监管报送可以说是银行业数据仓库最核心、挑战也最大的应用场景之一。假如错报、漏报监管机构所要求提交的经营数据，银行将面临被约谈、通报、罚款等风险;报送不够快则存在无法及时排查和处理异常单据反馈、影响后续业务系统运营的问题。

适应数智化时代的发展，金融业作为强监管行业，监管在数据覆盖面、报送频率、信息颗粒度等方面的要求也在与时俱进。以“反洗钱报送”这单一业务场景为例，根据中国人民银行要求，被监管机构需要按天披露超过规定金额以上的资金交易信息，涉及客户、证件、地址、银行账户、受益人、合同等多个维度。除此以外，为维持金融业健康运行的秩序，被监管机构还需定期分别向银保监、国家外汇管理局、中国支付清算协会等多个监管部门报送相应数据，种类多、来源杂、报送对象及规则要求各不相同。报表业务员动辄需要在短时间内处理成百上千张报表，耗时耗力。

作为一个批量处理场景，如何在每天巨大的业务数据量下，不仅保障数据的一致性、准确性，还能提升数据处理能力，从而提高监管报送效率，成为了考验数据仓库性能的一个重要指标。

更具象地来说，数据仓库要在“数据流入”和“数据流出”两大维度具备准确性与时效性，才能满足广大金融机构的严格要求。一方面，数据仓库需要在银行面临交易洪峰或在“双十一”、“双十二”等购物节中大量用户同时涌入、转账行为同时发生时，能够凭借高并发、低成本和敏捷扩容能力，保障数据的准确记录;另一方面，数据仓库还需要提升性能，以更强的算力支持高效生成表单，及时提交给各个监管部门，从而为潜在的问题预留出更多处理的时间窗口。

如果能够在每天上班前就完成监管报送表单的制作，那么员工上班后就可以直接处理异常问题，这将为银行节约很多时间、人力成本。

除了支持常规的数据仓库应用场景外，能够满足银行新兴场景的性能要求也同样重要。

以实时转账风险预警场景为例，在银行用户输入转账账户和转账金额、点击确定转账的同时，为更好保障用户资金的安全性，银行需要将转账时间、对象、金额、频次等相关数据进行加工，提取数据特征以判断交易性质，以及时将存在欺诈风险的交易进行阻断并完成预警提示。

这不仅要求银行数据仓库能够实现低时延的实时流处理，还要求其能够根据用户的特定需求，快速建立起不同数据维度、不同时间范围的实时统计分析。

另外，我们作为银行的用户，一定更希望银行在最大程度保障我们资金安全的基础上，能够根据我们的日常转账、消费流水和账户金额变化，向我们提供个性化且合适的资金管理方案，辅助我们实现“财富增值”。

这就要求银行数据仓库平台能够充分利用AI赋能，对用户交易行为进行智能分析、形成用户行为画像，从而提前智能防范交易欺诈，并面向多种场景，形成千人千面的定制服务。

“将人工智能引入数据平台是近几年行业发展的一个趋势，”刘雷谈及数据仓库转型时也强调了数流与智流融合的重要性。

在向满足以上性能要求的新型数据仓库转型实践中，一方面，需要实现从传统数据仓库的平稳过渡，在不影响正常业务开展的同时，提升迁移效率、降低迁移成本;另一方面，在数据治理上还需要提升数据管理、数据标准的统一性，打破银行各部门间的数据壁垒，避免数据重复加工，充分实现数据共享;同时，从日常运维管理的角度，还需要解决传统数据仓库建设过程中复杂架构带来的高运维难度的问题。

可见，新需求与新场景的不断提升重新定义着数智化时代数据仓库的新标准，从而为国产数据仓库产品的“弯道超车”创造了机遇。

数据仓库的“战场”正在不断涌入新鲜的国产血液。