随着金融业数据量爆发式增长(日均增量超数十TB)，大数据安全与业务连续性面临严峻挑战。《银行业信息系统灾难恢复管理规范》要求核心系统RTO≤2小时、RPO≤15分钟。同时，传统备份方案面临响应延迟、容灾能力不足、成本高昂等挑战。为探索高效可靠的大数据平台备份方案，社区组织多位金融科技专家开展线上研讨，就大数据平台备份必要性、灾备架构设计、成本优化等核心议题达成同业共识。关于备份方案设计难点，请参考另一篇同行交流共识：《金融行业大数据平台备份方案设计的八个难点》，本文将重点对成本优化议题进行探讨并总结共识，供同行参考。

议题主持人：

任巍 某股份制银行 大数据工程师

本文精选以下同行分享：

金海波 昆仑银行 大数据架构师

xuyy 某银行银行 数据架构师

谷阳 某银行 大数据工程师

kathynm2517 某农商银行 软件开发工程师

金融行业大数据平台备份方案成本优化探讨

1：同机房同集群已经有三副本, 或者已经实现灾备，是否还有额外备份必要?

◉ 任巍 某股份制银行 大数据工程师：

个人认为，如果已经有灾备集群了，可以通过统筹考虑灾备同步频率来解决备份问题。

例如，对于HDFS或者Hive，可以每周一次全量备份，搭建一个大容量存储构成的灾备集群，这样可以备份多个版本的文件或者Hive表，实现备份功能。

然而，对于Hbase的repication准实时同步方式，灾备集群无法解决误删场景下的数据恢复，因为灾备集群会同步删除相关数据。

综上所述，建议从成本和收益两个角度，统筹考虑备份建设需求。

◉ 金海波 昆仑银行 大数据架构师：

即使同机房同集群已经有三副本，或者已经实现灾备，额外备份仍有必要，三副本策略和常规灾备方案虽能应对部分风险，但在数据误删、人为逻辑错误、极端灾难等场景下存在局限性，额外备份可提供更全面的数据保护。而且额外备份具有独特优势，备份方案成本低、操作简单，能够将数据复制并保存到本地或异地，如采用远端HDFS、NFS 等作为备份存储，对关键数据进行备份，在保护数据误删方面具有显著效果。当出现数据误删、逻辑错误或软件 BUG 等情况时，可以通过备份快速恢复数据;在面对重大灾难，如城市级故障，导致主集群和容灾集群同时受损时，额外的异地备份可以作为最后的数据保障，确保数据能够恢复，保障业务的连续性。

◉ xuyy 某银行 数据架构师：

答案是肯定的。

对于金融行业，数据备份是一项必不可少且具有关键意义的工作，它直接决定着银行能够应对什么样的数据威胁以及相应解决方案的灵活度和有效性。有效的备份可以防止系统出现因操作失误或逻辑故障导致的数据丢失。可以在异构多芯”集群“多站点”架构方案的基础上，增强备份能力以提升数据的安全可靠性。

2：大数据备份一般所需的资源比较多，投入比较大，如何衡量是否值得对某个大数据集群进行备份?

◉ kathynm2517 某农商银行 软件开发工程师：

我这边再根据实务中的经验发表一些浅见。

1、首先一定要考虑合规要求，这类要求不但会涉及必须“保存”的数据范围，同时也会包含“不能保存”的数据范围，增加重要数据的同时，也会限制对应数据的增长。

2、其次要考虑业务实务要求，该部分数据会涉及一些“全生命周期”的数据存储需求，会导致数据持续增长，要至少规划3-5年的增量存储需求。

3、之后还应当考虑对于日常批量涉及的数据，可以考虑“应被尽备”，此方案会提升备份需要的存储要求，但是条件允许的情况下在恢复数据后，可以有效的提升批量恢复运行效率。

◉ xuyy 某银行 数据架构师：

衡量是否值得对大数据集群进行备份，首先，必须考虑合规要求。合规要求不仅涉及必须保存的数据范围，还可能包括不能保存的数据范围。这会增加重要数据的保存需求，同时也会限制对应数据的增。

其次，业务要求也是重要的考量因素。需要考虑数据的全生命周期存储需求，至少规划3-5年的增量存储需求。

此外，对于日常批量涉及的数据，可以考虑“应备尽备”，这虽然会增加备份所需的存储要求，但在恢复数据时可以提升批量恢复的运行效率。大数据备份通常需要较多的资源和投入。因此，进行成本效益分析是必要的。评估备份的长期效益，包括数据安全、业务连续性和合规性等方面的潜在收益，可以帮助决定是否值得进行备份。

◉ 金海波 昆仑银行 大数据架构师回复：

可以按照数据的重要程度、合规要求、成本收益等角度进行分析，例如：

必选备份场景：

数据不可再生+ 业务中断损失高 + 合规强制要求(如金融核心交易集群)。

可选备份场景：

数据可部分再生+ 业务影响中等 + 有一定分析需求(如用户行为分析集群)，可采用低成本备份方案(如周期性全量备份至 NAS)。

暂缓备份场景：

数据易获取+ 业务影响低 + 无合规压力(如内部测试集群)，可仅保留最近 7 天备份或依赖版本控制(如 HDFS 快照)。

通过以上维度评估，可以决策是否对大数据集群进行备份，并选择性价比最优的实施方案。

3：备份数据量巨大的集市型MPP数据库成本太高，这种类型系统有什么解决方案?

现在很多集市型的MPP数据库，数据量巨大，每次备份成本太高，而它本身又有多副本。但还是担心它出问题，但每次备份都没有好的方案，成本过高，请问这种类型系统该如何考虑备份，或者是否备份?

◉ xuyy 某银行 数据架构师：

针对数据集市等MPP数据库这种大数据量的备份场景，需要从以下3个方面考虑：

1.数据备份策略与架构设计

根据不同类型和规模的大数据，设计相应的备份策略，如全量备份、增量备份、差异备份等。采用分布式备份架构，提高备份效率，确保数据在不同存储节点之间的均衡分布。结合加密技术和冗余存储，保障数据在备份过程中的安全性，并确保数据恢复的可靠性。

2.大数据备份技术的选型

选择能够适应大数据特性，如高并发、海量数据处理的备份技术。备份技术需具备高效的数据传输速度和较低的延迟，以满足实时性要求。要考虑技术未来的扩展性，以适应数据量的持续增长。

数据备份策略与方案结合业务需求，设计不同的备份方案，如冷备份、热备份和离线备份，以应对不同场景下的数据恢复需求。采用数据压缩和去重技术，减少存储空间需求，提高备份效率。

◉ 金海波 昆仑银行 大数据架构师：

对于数据量巨大且已具备多副本的集市型MPP数据库，在备份时确实面临成本与数据安全的权衡问题。可以从备份策略优化、存储方案选择等方面来制定解决方案，在保障数据安全的同时降低成本：

优化备份策略区分数据重要性与备份频率：对数据库中的数据进行分类，按照业务重要程度、使用频率等因素，将数据划分为核心数据、重要数据和一般数据。对于核心数据，如涉及关键业务交易、客户敏感信息的数据，采用实时备份或高频次的增量备份策略，确保数据的安全性和完整性;对于重要数据，可适当降低备份频率，如每天进行一次增量备份，每周进行一次全量备份;而对于一般数据，如历史日志数据、临时数据等，可进一步减少备份频率，每月进行一次全量备份即可。这样有针对性地设置备份频率，既能满足数据安全需求，又可降低不必要的备份成本。

采用增量备份与差异备份结合：鉴于MPP 数据库数据量巨大，全量备份不仅耗时久，还会占用大量的存储资源和网络带宽。因此，应优先采用增量备份方式，仅备份自上次备份以来发生变化的数据，大大减少备份数据量。同时，结合差异备份，定期(如每周)进行一次差异备份，备份自上次全量备份以来所有变化的数据。在数据恢复时，先恢复最近的全量备份，再依次应用差异备份和增量备份，能够在保证数据恢复效率的前提下，有效降低备份成本。

选择合适的存储方案：利用低成本存储介质：考虑使用一些低成本的存储介质来存放备份数据，如磁带库、对象存储等。磁带库具有大容量、低成本的特点，适合用于长期数据归档和备份，但数据访问速度相对较慢;对象存储具有高扩展性和较低的存储成本，可通过网络随时访问数据，适合存储大量的备份数据。可以将不常使用的历史备份数据存储在磁带库中，而将近期的备份数据存储在对象存储中，以平衡存储成本和数据访问效率。

分级存储策略：根据数据的使用频率和重要性，实施分级存储策略。将近期频繁使用的备份数据存储在高性能、高成本的存储设备上，如固态硬盘(SSD)，以确保快速的数据恢复;对于使用频率较低的备份数据，迁移到低成本、大容量的存储设备上，如机械硬盘(HDD)或云存储。通过这种方式，在满足数据恢复时效性要求的同时，降低整体存储成本。

◉ 任巍 某股份制银行 大数据工程师：

备份还是有必要的，多副本可以保障数据本身的高可用，但是在误删或者业务需求恢复某张表至某个时间点的情况，就只能依赖于备份了。

对于MPP数据仓库，一般厂商都会提供对应的备份方案用于对接金融机构的备份系统(NBU等)。比如GuassDB(DWS)，会有专门的备份一体机对接DWS集群进行备份，随着DWS集群扩容，备份服务器也需要同步扩容。

备份周期方面，按照以往经验，一个月一次全备，每日增备的策略基本上可以满足业务需求。

◉ koolkite 金融行业 数据库架构师：

现在很多集市型的MPP数据库，数据量巨大，每次备份成本太高，而它本身又有多副本。但还是担心它出问题，但每次备份都没有好的方案，成本过高，结合这块我们也在考虑考虑这方面的备份方案。整体来看集市型的MPP数据库所存储的数据大致可分成集中类型：1、配置型数据;2、批处理后的数据;3、部分特殊加工后的数据。因此从数据的生成规则和恢复实施难度上进行综合平衡，可对配置型数据和部分特殊加工后的数据进行备份，不建议对全库进行备份。