New York Life(NYL)对其本地数据平台进行了现代化改造,以提升其关键保险业务的分析、性能和自动化水平。为实现这些目标,NYL在亚马逊云科技上使用Amazon Lambda、Amazon Glue、Amazon RDS和Amazon Redshift构建了一个可扩展的数据湖和报告平台。在本次会议中,NYL分享了从传统平台迁移到现代数据湖的经验教训,以及拥有现代数据基础如何加速了他们的生成式AI之旅。了解NYL如何使用Amazon SageMaker和Amazon Bedrock来提高员工生产力和一线代理的体验。
以下是小编为您整理的本次演讲的精华。
在数字化转型的领域中,作为全国最大的相互人寿保险公司,纽约人寿公司开启了一段非凡的旅程,拥抱数据和生成式人工智能的力量,彻底革新了其运营和客户体验。这家拥有179年历史的公司坚定地致力于为其保单持有人和代理人提供卓越服务,认识到技术在推动创新和增强韧性方面发挥着关键作用。
在加入纽约人寿公司7年半之前,Scott Semanchuk曾在制药行业工作了25多年。他阐述了公司的数据战略和使命,该战略建立在四大基础支柱之上:扩展数据基础设施和技术以构建企业数据产品、通过人工智能和分析提升数据智能、转变组织文化以实现数据驱动的决策指导、为代理人和保单持有人提供主动和个性化的体验。
回顾公司的传统数据平台,Scott透露了他们在本地Hadoop数据湖环境中面临的挑战。老化的技术、供应商支持问题以及缺乏云集成,阻碍了纽约人寿公司充分利用其数据资产的能力。具体而言,他们正处于Hadoop 3.6.4的生命周期终点,供应商支持有限,而且该平台正在被Hortonworks和Cloudera弃用,转而采用他们的CDP方法。认识到需要改变,公司着手进行现代化改造,采用了一种湖仓架构,利用Amazon S3作为数据湖,Amazon Redshift作为数据仓库。
架构转型是一项精心策划的工作,涉及重新架构、重新设计以及提升和转移各种组件。Scott详细阐述了新架构的复杂细节,强调了摄取账户、数据湖账户、数据治理账户以及针对组织内不同角色量身定制的各种消费账户。这一转型的核心是整合了亚马逊云科技服务,如Amazon Glue、Amazon Lambda和Amazon Redshift。Scott强调了实施最佳实践的重要性,包括将所有数据驱动通过HIPAA摄取账户、确保适当的访问控制,并利用Amazon Lake Formation管理数据湖权限。采用无服务器功能、通过信任策略实现跨账户访问,以及通过LDAP组管理的去令牌化功能进一步加强了架构基础。
随着数据平台现代化的推进,纽约人寿公司认识到需要摄取和处理非结构化数据,以支持其生成式人工智能的雄心。这导致了数据治理账户的开发,在该账户中,文档被标记以供不同模型适当使用,确保数据质量和合规性。公司最初的数据湖环境中大约有4,000个parquet格式的表,估计有1,200到1,400个表可以从迁移到iceberg格式中获益。截至演讲时,已有大约500个表转换为iceberg格式,这些表的性能提高了25%到40%。
Boris Semanowicz领导着纽约人寿公司的MLOps团队,他上台深入探讨了公司的人工智能和生成式人工智能平台。他概述了指导平台开发的原则,包括可扩展性、自动化、可重复性、治理、模块化、安全性和民主化。
精心设计的开发架构包括数据湖账户、用于探索性数据分析的Amazon SageMaker Studio、用于版本控制的GitHub,以及用于部署的Amazon Elastic Kubernetes Service (Amazon EKS)。Boris强调了版本控制和自动化的重要性,确保每个实验和模型都可以从头到尾重现,这是像纽约人寿这样受监管实体的关键要求。
运营架构体现了模块化,拥有专门的组件用于用户界面、人工智能解决方案、生成式人工智能解决方案,以及由OpenSearch Serverless提供支持的向量数据库。Amazon DynamoDB在存储模型数据方面发挥了关键作用,包括提示、完成、开始和结束时间以及令牌长度,实现了全面的监控和治理。此外,公司还利用了Amazon Bedrock,允许他们以各种方式进行扩展、访问众多模型,并可以自行启动模型或利用基础模型。
为了说明他们的生成式人工智能平台所带来的变革性影响,Boris展示了一个引人入胜的用例:纽约人寿公司的理赔管理体验。基于复杂的医疗记录生成定制信函的传统流程是一项艰巨而耗时的工作,存在法律风险和不一致性。这个过程曾经需要占用大半天时间,是理赔经理最不喜欢的职责之一。
通过利用大型语言模型(LLM)和提示工程,纽约人寿公司彻底改革了这个流程。通过与数据科学家和业务合作伙伴的合作,公司开发了提示,引导LLM以一致、基于事实的方式生成信函,遵循特定的语气和可读性标准。曾经需要几个小时的工作现在只需几秒钟就能完成,大大提高了效率并降低了法律风险。Boris回忆起一位理赔经理的欣喜,他目睹了一项通常需要半天时间的任务在短短15秒内就完成了,这充分证明了这项技术的变革力量。
除了提高效率,生成式人工智能解决方案还通过确保所有生成信函的语气和可读性水平的一致性,增强了客户体验。对于可能带有情绪色彩的负面结果,系统会以同理心和清晰的方式传达,减少了产生误解或加剧困扰的可能性。提示还有助于保持一定的语气,确保客户,尤其是那些收到负面结果的客户,不会受到无情的语言进一步困扰。
这一举措的成功并非孤立实现。纽约人寿公司利用了Experience-Based Acceleration (EBA)方法论,这是一种旨在促进协作和加速交付的亚马逊云科技方法。主持人Jimmy阐述了EBA流程,它将业务利益相关者、开发人员和决策者聚集在一个协作环境中,促进创新并实现快速决策。在为期5-7周的时间里,实际构建阶段被压缩到为期3天的密集工作中,EBA有助于打破组织内的孤岛,使跨职能团队能够并行工作于多个工作流程。这种协作方法赋予了构建者权力,为他们提供了亚马逊云科技专家的指导和支持,并确保在出现障碍时能够迅速做出决策。
EBA方法论对纽约人寿公司来说是宝贵的,成为了组织内的一种生活方式。虽然最初由于所需的努力而遇到一些阻力,但有形的结果和加速交付很快将EBA转变为公司创新文化的一个组成部分。纽约人寿公司的云团队甚至采用了EBA方法,在周末举办EBA以实现解决方案的产品化,展示了这种方法论的广泛影响。
在这一变革之旅中,纽约人寿公司汲取了宝贵的经验教训,可以为其他组织开启类似的旅程提供指导。设计可扩展性、优先进行架构评审以及遵循亚马逊云科技最佳实践被认为是关键的成功因素。此外,认识到基础模型正在成为商品,而数据仍然是真正的差异化因素,强调了坚实的数据基础的必要性。
拥抱快速失败、转变和快速决策的文化成为成功创新的标志。打破组织内的孤岛,通过更小、更敏捷的团队促进跨职能协作,成为交付特定成果的必要条件。
也许最深刻的教训是坚持坚定的愿景,同时在执行过程中保持灵活性。正如创新者Steve Jobs所说:“变革是常态”,纽约人寿公司拥抱变革并利用技术进步的力量,尤其是在生成式人工智能领域,为他们的卓越转型铺平了道路。
我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出,企业要从 " 成本优化 " 转向 " 创新驱动 " ,通过完善的数据战略和 AI 云服务,把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在 AI 时代突破。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70038688/viewspace-3090351/ ,如需转载,请注明出处,否则将追究法律责任。