现在中小银行一般都已建设了传统的数据仓库，比较规范的对数据进行分层管理，随着湖仓一体架构的演进，如何避免建设的湖仓一体架构形成数据沼泽，导致数据杂乱无章，使用难度增大?(以下分享均来自社区同行)

金海波 银行大数据架构师：

防止出现数据沼泽需要做以下工作：

(1)制定数据入湖策略，明确哪些数据可以进入湖仓一体系统，以及数据的采集方式和频率。对数据进行筛选和过滤，只将有价值的数据存入湖仓，避免大量无用数据的积累。

(2)强化元数据管理，建立全面的元数据存储库，记录数据的来源、结构、业务含义、数据质量等信息。当用户查询数据时，可以通过元数据快速了解数据的背景和含义，提高数据的可理解性和可用性，并对元数据及时更新，保障准确性和及时性。

(3)建立明确的数据标准，定义统一的数据格式、编码规范和数据质量要求。例如，对于客户信息，明确规定姓名、地址、联系方式等字段的格式和取值范围。这样可以确保进入湖仓一体系统的数据具有一致性，减少数据混乱。

(4)建立数据质量检测机制，在数据入湖前对数据进行质量检查，不符合质量要求的数据不予入湖。例如，检查数据的完整性、准确性和一致性等。

贺成奎 城商行大数据研发 ：

针对数据湖数据沼泽的情况，要做到数据的可查询、可溯源。入湖的数据需要打好标签，非结构化数据标记清楚数据来源以及用途、数据使用周期等，该类元数据信息可以存放ES以便快速进行检索使用;结构化数据或者数据湖表则做好数据的生命周期管理，数据文件与元数据服务进行绑定，标记好表注释、字段注释等，对表进行归类，与资产平台进行集成，方便业务人员快速检索探查数据。数据安全方面则交由资产平台进行管控，通过自下而上的审批流程保障数据的安全。

任巍 股份制银行大数据工程师：

数据沼泽是数据湖发展过程中的一个棘手问题。随着时间的推移，就会发现数据湖的数据量增长速度越来越快，进一步分析就会发现贴源层数据会占据数据湖总容量的很大部分内容，很多集市缺少清理策略，很多数据都是每日全量保存，因此数据湖的数据增长速度越来越快。如果从业务增长的角度分析，如此快速的数据增长速率是很难理解的，因为无论是核心系统还是外围的上游系统，业务数据量增长速率不应该如此之快。所以就出现了让很多人内心产生疑惑的问题：数据湖里的数据都是必要的吗?下面重点探讨一下数据沼泽的无效数据问题。

数据湖的定位与归档系统的定位影响到了数据湖里的数据是否可以清理，如果数据湖作为上游系统数据最终归宿，那么贴源层数据还是要永久保留的，一方面是因为上游系统已经没有了历史数据，另一方面存储于数据湖中的数据在数据提取和数据使用方面都是很方便的。但是HDFS三副本机制下对应的存储成本是很高的，因此随着数据湖数据的快速增加，对于冷数据的归属，还是建议放置于低成本的普通对象存储或者分布式存储中，相比较HDFS而言成本是较低的。除了归档以外，从客观来看，无论是贴源数据还是集市数据，都需要推动业务人员制定清理策略。比较容易推动的是集市层，因为贴源层如果不清理的话，集市层所需要的数据可以通过重跑的方式跑出来;难点在于贴源数据是否可以清理，由于经常会遇到上游集市数据不准确需要重跑的需求，贴源层需要及时的为上游提供重跑所需数据，若是已清理(且归档)，数据恢复时效也很难保证业务需求。贴源层需要更加精细化的管理，尽可能减少数据保存量，减轻数据湖压力。从Hadoop集群层面看，基于HDFS的文件存储系统，在存储和算力两个角度分析，更多的瓶颈在于存储，数据沼泽是造成存算的重要因素。存算分离一定程度可以缓解，但是并不能根部改变。使用更大的数据盘也是一个思路，但是成本会增加更多。目前看来，从业务层面推动数据沼泽问题中无效数据的清理是优化该问题的一个思路，让业务人员明白数据湖最宝贵的除了算力资源，还有存储资源。为每个集市设定合理的存储空间，并严格加以管控，可以一定程度避免数据沼泽无效数据问题的发生。

bryan 某国有银行数据架构师：

过去很多行在做大数据建设时就已经形成了数据沼泽，这和部门各自为政有一定的管理，所以四大行的总行一般配置专门的数据管理部门。一般采用如下方式：

(1)做好数据统一平台：建议全行统一的数据湖平台，服务于所有业务部门，不会因为某个业务部门需求单独建设仓库。

(2)做好元数据管理：从raw data到ODS到加工数据，做好配套的元数据管理，避免找不到数据是形成数据沼泽的一个重要原因。实践中，很多业务部门不知其他业务部门已经建设了相关模型，所以才会有反复的建设需求，并形成不同业务领域的数据仓库，这会逐步形成数据沼泽。

(3)做好数据的及时查询和加工：业务部门可根据需求在同一的数据湖中即时查询数据，或者按照需求按时加工数据。

总 结

湖仓一体架构下，要避免数据沼泽形成，需要制定数据入湖策略、强化元数据管理、建立数据标准和质量检测机制。同时，从业务层面推动清理无效数据，为集市设定合理存储空间并严格管控。