ITPub博客

首页 > 数据库 > 数据库开发技术 > 银行数字化转型为何需要HTAP?

银行数字化转型为何需要HTAP?

翻译 数据库开发技术 编辑:任朝阳 时间:2021-11-29 09:21:49 1 删除 编辑

混合交易/分析处理(HTAP),或混合业务分析处理(HOAP),是指对从混合数据源(包括关系数据库、数据湖和流数据)聚合的集中数据子集进行实时分析的能力。

随着对更大规模、更复杂的数据集进行实时分析的需求不断上升,IT决策者和应用设计者可以更多了解HTAP的益处。

银行服务中包括网络和移动账户访问和欺诈检测,创造了很好的HTAP使用案例样本,这些实践很容易用于其他金融服务应用以及其他行业。

移动银行账户访问

银行在进行移动化和实行新零售战略时,会经历线下到网络和移动银行的转变。银行在交易数据、支票和储蓄账户信息、贷款处理、促销计划等方面的核心记录系统,依赖几个独立的关系型数据库。同时,他们在数据湖中收集大量的历史数据用于分析。

为了服务网络和移动客户,银行需要实时响应请求,无论是显示当前余额、列出最近的交易还是进行跨账户转账,每个请求可能需要针对混合数据进行多次查询(即针对多个数据库中的数据进行查询)。当请求的数量相对较少时,所需的时间和对核心系统的影响还可以接受,但当数千或数十万网络和移动用户同时访问应用程序时,核心系统可能会慢到爬不起来。此外,在网络上移动所需要的数据是缓慢而昂贵的。因此,现有的基础设施无法提供所需的速度和规模以确保有一个好的用户体验。

除了速度和规模的技术挑战外,编写能够即时连接到多个不同数据库的应用程序也给开发人员带来了巨大的负担,他们必须学习每个数据库的编程和安全要求,这就减慢了应用开发和价值实现时间。

信用欺诈检测

除了提供基于网络和移动的账户服务外,银行的业务还有防止欺诈,包括检测不适当的访问以及防止身份盗窃等。银行使用各种技术来检测欺诈和其他漏洞,比如运行多个机器学习(ML)模型,这需要数据尽可能是最新的并且检测可以实时进行才会有效。

这意味着需要将从多个源系统聚合的新鲜数据提供给应用程序,然而,对于ML模型训练,需要消除将事务批处理到一个单独的分析数据库中所固有的延迟。批量处理通常每小时、每天或每周进行一次,延迟可能会使新的欺诈和漏洞在很长一段时间内无法被发现。

HTAP为混合数据访问创建一个共享的内存数据存储器

HTAP的目标是创建一个共享的、高度可扩展的、低延迟的存储层,自动从各种源系统中提取相关的数据子集,包括数据库和流媒体数据,并将这些数据聚合在一个容易访问的数据存储中,这通常被称为数字集成中心(DIH)。共享数据存储中的数据也可以被转换,这取决于用例的需要。

通常,内存计算技术因其速度和无限规模的优势被选为数据存储层。例如,使用分布式内存缓存或分布式数据库作为HTAP数据存储,可以帮助解决网络和移动用户体验和欺诈检测的速度和规模挑战。数据存储消除了应用程序对每个查询直接调用源系统的需要,从而消除了对核心记录系统的性能影响,也不必在网络上不断移动数据。而且,由于交易(如信用卡应用)可以立即复制到数据存储中,并与流式历史数据聚合,因此可以对极新的数据进行欺诈分析,也不会影响源系统。

Gartner认为,目前内存计算是部署HTAP的最有效方式。“混合交易/分析处理(HTAP)架构最好由内存计算(IMC)技术和工艺来实现,以便在用于执行交易处理的同一(内存)数据存储中进行分析处理。通过消除将数据从运营数据库转移到数据仓库和数据集市进行分析处理所带来的延迟,HTAP架构能够对实时交易数据进行实时分析,而不是对陈旧的数据进行事后分析。”

有了HTAP战略,银行以及其他行业的企业可以获得实现数字化转型和增长目标所需的性能和规模处理能力,而不会影响其核心系统的性能。

附注:根据Gartner的定义,混合负载(HTAP Hybrid Transactional/Analytical Processing)在保留原有在线交易功能的同时,也强调了数据库原生计算分析能力。支持混合负载的数据库能够避免传统架构中在线与离线数据库之间大量的数据交互,同时也能够针对最新的业务数据进行实时统计分析。

为了避免在线实时读写与批处理作业之间的资源干扰,混合负载型数据库通常使用读写分离或内存处理技术实现。一般来说,分布式数据库的多副本架构天然支持读写分离技术,而基于传统架构的数据库往往采用内存处理技术进行实现。

扩展阅读:

https://blog.csdn.net/eNohtZvQiJxo00aTz3y8/article/details/78823821

来自 “ forbes ”,原文链接:http://blog.itpub.net/69925873/viewspace-2844537/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-05-27

  • 博文量
    164
  • 访问量
    222254