ITPub博客

首页 > IT基础架构 > 服务器/存储 > 英伟达GPU加速Cloudera数据平台提升欺诈检测能力

英伟达GPU加速Cloudera数据平台提升欺诈检测能力

原创 服务器/存储 作者:陶然 时间:2021-08-06 10:24:40 0 删除 编辑

  在全球疫情影响下,每家企业都面临着一场彻底的变革。从面对面会议到购物,一切事物都突然转到了线上。这使企业产生了比以往更多的数据,以及更多需要追踪和监控的数字交易。

  随着大量数据的涌入,企业应该如何应对?Cloudera相信数据骤增将让企业有机会更快、更好的做出业务决策。以英伟达GPU计算功能支撑的Cloudera Data Platform可以利用近乎无限数量和种类的数据,支持企业加快决策速度。

  近日,在英伟达和Cloudera联合举行的线上媒体会上,双方分享了最近在数据平台方面的合作,包括有关美国国税局在英伟达认证的系统上使用GPU加速的Cloudera数据平台改进欺诈检测工作等内容。

   英伟达GPU:挑战不可能

  企业数据工程师正在以前所未有的力度和规模运用数据集,比如改造供应链模型、应对日益增加的欺诈行为或开发新的产品线等。对于数据科学家而言,海量数据造成的瓶颈会直接影响企业训练和使用模型的成本与速度。

  作为一名数据科学家,Deborah Tylor的任务是整理美国国家税务局超过300TB的数据库,寻找可能有助于识别身份盗窃和其他欺诈行为的规律。但即使让一大批CPU服务器工作了一整夜,也无法完成这项数据整理工作。

  后来通过Cloudera解决方案工程师的介绍,对软件进行快速测试后,在没有修改任何代码的情况下,Tylor在这项工作中的许多步骤就立即加快了5倍,但有几个部分仍然滞后。

  Cloudera解决方案工程师马上召集了英伟达数据科学家团队来检查代码的核心内容。他们很快就发现一些数据结构非常糟糕的任务仍在CPU上运行。于是他们编写了代码来处理这些工作并将其插入Spark的RAPIDS软件接口中。

  RAPIDS是一个在GPU上运行数据分析的开放资源库。Tylor又进行了一次测试,结果发现一切都能在分布式Spark集群的GPU上顺利运行,而且速度提升非常明显。

  美国国税局研究和应用分析与统计部门技术主管表示:通过Cloudera和NVIDIA的这一技术整合,我们能够利用以数据为依据的洞察来推动关键任务用例。我们目前正在应用这一技术整合,这使得我们的数据工程和数据科学工作流程以一半的成本获得了超过10倍的速度提升。

  美国国税局团队正在探索这项技术应用可能带来的一些回报。凭借由GPU驱动的服务器所组成的Spark集群,该团队能够加速目前所有的工作并运行其他以前被认为不可能实现的工作。并且这些工作可以帮助该团队处理他们所掌握的大数据集。

  对于努力应对海量数据集的公司而言,能否进行模型训练取决于是否拥有GPU加速数据科学管道。这种管道可以直接增强企业机构运用AI进行业务转型的能力。GPU加速的Apache Spark能够在CDP上无缝运行,从而支持企业机构可以通过安全且可扩展的开源机器学习平台,满足从研发到生产的高性能计算、AI和数据科学需求。

  Apache Spark为企业保持竞争力所依赖的机器学习和数据分析管道奠定了基础。NVIDIA加速的计算和运行在Cloudera Data Platform上的Spark分析所带来的处理能力,提供了高速完成任务的灵活性,同时节省成本。

   写在最后,在速度至关重要的今天,企业比以往任何时候都更加依赖数据的力量。Cloudera与NVIDIA的合作将为客户提供必要的技术支持,帮助客户更好地理解数据,并充分发掘真正的AI转型潜力。

  CDP分析体验专为帮助数据专家跨多个公有云和私有云、自信应对指数级数据增长和孤岛式数据分析而构建的。Cloudera将深化与NVIDIA的现有集成,通过使用我们的企业数据云服务,客户将可以保持他们现有的竞争优势。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/28285180/viewspace-2785568/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-06-08

  • 博文量
    217
  • 访问量
    276274