首页 > 云计算 > 公有云实践 > 亚马逊云科技-人工智能与人类共生关系展望
关键字: [亚马逊云科技, 生成式AI, Amazon Bedrock, Generative Ai, Human Intelligence, Symbiotic Relationship, Data Foundation, Ai Applications]
亚马逊云科技-人工智能与人人类共生关系展望
以下是小编为您整理的本次演讲的精华。
世界正处于新技术时代的边缘,在这个时代里,人类与生成式人工智能之间正迅速形成一种深刻而又共生的关系。这种伙伴关系蕴含着巨大的潜力,因为生成式人工智能以各种意想不到的方式增强了人类的生产力,同时又推动了人类智力和创造力的发展。就像大自然中观察到的错综复杂的共生关系一样,人类与人工智能之间的这种联盟充满了可能性,是一个创新的源泉。
在过去的200年里,一代又一代的先驱、数学家、计算机科学家和具有前瞻思维的个人们致力于发明新技术。这些进步减轻了人类体力劳动的负担,并自动化了许多复杂的人类任务,从开发能够进行数学计算和大数据处理的机器,到创建旨在识别模式和进行预测的新架构和算法,再到发明极大地促进了数据操作的编程语言。
在这些先驱中,有着Ada Lovelace,她被誉为世界上第一位计算机程序员。Lovelace的贡献,特别是她与Charles Babbage在19世纪30年代合作开发分析引擎(一种最早的计算机原型)的工作,使她在历史的长河中占有一席之地。与Babbage一样,Lovelace也坚信计算机可以减轻计算和分析任务的负担,但真正使她与同时代人区别开来的是,她能够认识到计算机的巨大潜力——它们的能力远不止于“纯粹的数字运算”。Lovelace发现计算机可以被编程来读取符号并执行逻辑操作序列,这一认识标志着计算机被用于复杂任务的一个关键转折点。此外,Lovelace还推测这些机器有朝一日能够理解音乐符号,甚至创作音乐,这一具有洞察力的想法可以被视为对生成式人工智能潜力的早期赞颂。
尽管Lovelace坚定地相信计算机的潜力,但她明确表示:这些机器不能真正创造任何东西。它们只能生成人类能够指导它们执行的输出或任务。真正的创造力和智能,她认为,只能源于人类。从这个意义上说,Lovelace设想了人类与计算机之间一种相互有利的关系,双方各自贡献自己独特的长处。
如今,随着生成式人工智能的世界不断展开,显而易见Lovelace对计算的贡献和分析正变得越来越有意义。虽然机器学习和人工智能在过去几十年里推动了快速创新,但这个人类主导创造力与生成式人工智能共存的新时代将使人类与技术之间的关系转变为智能增强。这一核心演进令人无比兴奋,因为它植根于另一种关键的共生关系,这种关系是推动进步向前发展的动力——数据与生成式人工智能之间的关系。
大量数据的爆炸性增长使得支撑生成式人工智能并加速各个领域新创新的大型语言模型的存在成为可能。有了这些进步,客户现在可以比以往任何时候都更快地利用数据构建和定制人工智能应用程序模型,同时利用生成式人工智能来促进数据的组织和操作。虽然共生通常被概念化为两个独立实体之间的关系,但当前的范式可以被视为三个要素之间的有益关系——数据、生成式人工智能和人类——所有这些都在协同释放着创造力。
要开发生成式人工智能应用程序,需要几个基本组件:访问各种基础模型和元素以满足特定需求、一个安全私密的环境来使用专有数据定制这些模型、适当的工具来在这些模型之上构建和部署新应用程序,以及强大的基础设施来运行这些数据密集型和机器学习密集型应用程序。
亚马逊云科技长期以来一直为客户提供全面的人工智能/机器学习、数据和计算产品。根据HG Insights的数据,比任何其他云提供商都有更多的机器学习工作负载运行在亚马逊云科技上。亚马逊云科技的人工智能/机器学习产品可以概念化为一个三层堆栈:
底层是基础设施层,它提供了成本效益高的资源来训练基础模型并大规模部署,包括硬件芯片和GPU。该层还包括Amazon SageMaker,这是一项服务,使机器学习从业者能够轻松构建、训练和部署机器学习模型,包括大型语言模型(LLM)。
中间层是Amazon Bedrock,它提供对领先的LLM和其他基础模型的访问,使客户能够构建和扩展生成式人工智能应用程序。
顶层是允许用户利用生成式人工智能而无需专门知识或编码的应用程序,如新的面向个人企业的生成式人工智能助手Amazon CodeWhisperer。
这些层层相扣,客户在生成式人工智能之旅的不同阶段可能需要其中的一些或全部功能。
向量在提高基础模型的性能方面发挥着关键作用,因为它们使模型能够更容易地识别相似词语之间的关系。例如,一个模型可以识别猫与小猫之间的关系更密切,或者狗与小狗之间的关系更近。这种能力使基础模型能够为客户提供更加相关的响应。向量特别适合于加强诸如富媒体搜索和产品推荐等应用程序的性能。在涉及“明亮色彩的金色鞋子”这样的查询场景中,使用向量嵌入可以大大提高搜索的准确性。
亚马逊云科技已经利用嵌入来支持其业务的各个方面,如Amazon.com。为此,亚马逊云科技提供了Titan Text Embeddings,使像Griptape这样的人工智能公司能够轻松地将其文本数据转换为向量嵌入,用于各种用例。然而,随着客户继续构建更多应用程序,对支持文本和图像模态的模型的需求也在不断增长。例如,一家拥有数千张图像的家具零售公司可能希望让客户能够使用短语、图像或两者的组合来搜索家具,并给出诸如“显示与我的沙发搭配良好的家具”之类的指令。
要构建这样的体验,开发人员通常需要花费时间拼凑多个模型,从而增加了机器学习堆栈的复杂性,并可能影响客户体验。为了解决这一挑战,亚马逊云科技宣布了Titan Multimodal Embeddings的普遍可用性。该模型使客户能够通过快速生成、存储和检索嵌入来构建更准确、更具上下文相关性的多模态搜索,从而创建更丰富的多模态搜索和推荐选项。像OfferUp和Alameeg这样的公司已经在利用Titan Multimodal Embeddings来彻底改革他们的库存图像搜索体验。
除了嵌入模型之外,亚马逊云科技还提供支持文本生成用例的模型,包括现已普遍可用的Titan Text Lite和Titan Text Express。这些文本模型可帮助客户根据其用例优化准确性、性能和成本。Titan Text Lite是一种高度经济实惠且轻量级的模型,支持诸如聊天机器人、问答和文本摘要等用例。它非常适合微调,并为特定用例提供了高度可定制的解决方案。另一方面,Titan Text Express可用于更广泛的任务,如开放式文本生成和对话式聊天,与更大的模型相比,它在成本和性能之间提供了更好的平衡。
人工智能图像生成在广告和零售等行业越来越受欢迎,在这些行业中,客户需要以较低的成本获得高质量的视觉效果。为了满足这一需求,亚马逊云科技宣布了Titan Image Generator的预览可用性,它使客户能够使用简单的自然语言提示生成高质量、逼真的图像或增强现有图像。客户可以使用自己的数据定制这些图像,以创建更好地反映其行业或品牌的内容。Titan Image Generator经过多样化数据集的训练,可以产生更准确的输出,并内置了针对有害和偏差的缓解措施。通过人工评估,Titan Image Generator展现出比许多其他领先模型更高的分数。
重要的是,为了与亚马逊云科技今年早些时候在白宫所作的促进人工智能技术负责任发展的承诺保持一致,所有由Titan生成的图像都带有一个不可见的水印,旨在通过提供一种离散的机制来识别人工智能生成的图像,从而帮助减少虚假信息的传播。亚马逊云科技是首批广泛发布内置不可见水印的模型提供商之一,这些水印被集成到图像输出中,并被设计为防篡改的。
泰坦图像生成器的编辑功能尤为出色。例如,用户可以提交“绿鬣蜥的图像”这样的文本提示来生成初始图像,然后使用该模型无缝地将背景更换为雨林场景,这个过程被称为外画。该模型可以保留图像的主体,同时改变背景,从而生成生活方式图像。此外,用户还可以生成原始主体或背景的变体,甚至可以使用“像雨林中朝右的橙色鬣蜥”这样的提示来改变图像的方向。
每个泰坦模型在能力、价格和性能方面都有其独特的优势。亚马逊云科技正在谨慎地选择如何训练其模型以及使用何种数据进行训练,并且该公司将为客户提供赔偿,以防其模型或输出侵犯任何人的版权。通过这些投资,客户将有灵活性选择最适合其需求的模型,即使他们的需求不断增长和变化。
自亚马逊Bedrock推出以来,已有超过10,000名客户正在快速开发AI驱动的应用程序,用于自助服务、客户支持、文本分析和预测趋势等用例。其中包括SAP等客户,SAP是全球领先的企业软件提供商,正在使用Bedrock自动创建SAP Concur的行程请求,为员工节省数小时时间。佐治亚太平洋是世界领先的纸浆制造商之一,他们使用Bedrock为员工提供了一个聊天系统,帮助他们快速检索关键的工厂数据并回答有关机器的问题。联合航空也利用Bedrock帮助员工使用自然语言访问最新的延误信息和总结,从而更快地解决运营和客户问题。
Intuit是一家全球金融科技平台,也是另一家成功利用亚马逊云科技生成式AI产品的公司。2023年9月,Intuit推出了Assist,这是一款嵌入到其所有产品中的生成式AI助手,包括TurboTax、QuickBooks和Mailchimp。Assist由生成式AI支持,旨在帮助用户对每一个财务决策都充满信心。
在TurboTax的Assist演示中,Intuit展示了助手如何通过解析数字并提供上下文来帮助用户理解纳税申报的结果。通过将Intuit知识引擎的力量(确保准确性)与大型语言模型的能力相结合,Assist可以帮助用户真正理解并对采取下一步行动充满信心,无论是什么。
Intuit在生成式AI之旅中的经验教训凸显了采取整体方法和投资基础数据的重要性,因为这将成为每种构建的体验的区别所在。此外,Intuit还强调从一开始就构建横向解决方案的必要性,因为演示最终需要成为生产体验。Intuit还认识到,没有一种大型语言模型解决方案是万/能的,Amazon Bedrock提供的可选性至关重要。
在过去10年中,Intuit与亚马逊云科技的合作在其成为全球金融科技平台的发展过程中发挥了关键作用。该公司利用了各种亚马逊云科技服务,生成式AI只是Intuit构建的众多AI体验之一。在40年的历史中,Intuit经历了多次转型,AI只是最新的一次迭代,该公司有望在未来40年继续转型和重塑自我。
虽然客户正在迅速适应Amazon CodeWhisperer等服务以提高生产力,但亚马逊云科技也在通过Amazon Q帮助用户利用生成式AI的力量做更多事情。无论用户是在构建应用程序、创建财务报告、向高管展示数据,还是在呼叫中心工作,Q都可以加速各种工作职能的生产力。
客户还在将AI能力融入到自己的产品中,为客户提供辅助体验。例如,丰田正在利用生成式AI来增强汽车的安全功能。在丰田,安全贯穿于公司的一切,其工程师认识到通过他们的工作来拯救生命的机会。
丰田从全球数百万辆汽车中收集数据,来自数百个传感器,数据量达到了数百万亿字节。挑战在于如何在每一秒都很关键的情况下实时处理所有这些数据。通过迁移到亚马逊云科技,丰田能够无缝传输其数据并利用亚马逊云科技的服务来解决这一挑战。当车辆发生碰撞时,通信模块会向丰田的亚马逊云科技云发送触发事件,呼叫中心的人员将在3秒内与车辆通话。
丰田还在使用更新的技术,如生成式AI,通过Amazon Bedrock这样的托管服务,该公司能够摄取车主手册并开发出一个由生成式AI驱动的助手。该助手可以使用简单的语音命令提供有关车辆各个方面的信息,实际上使汽车成为了自身的专家。
随着世界继续利用数据和生成式AI的力量,认识到人类智力在创造产生重大影响的客户体验中的关键作用至关重要。人类是创造一个强大的、在数据和生成式AI之间不断加强的循环的促进者。
这个循环可以类比于巴拿马雨林中病毒树、巨嘴鸟和黑色刺鼠之间的关系。树依赖巨嘴鸟传播种子,而吃种子的黑色刺鼠则通过埋藏和遗忘一些种子来帮助树木繁衍。这种共生关系为所有相关方创造了长寿——更多树木、更多食物和更长的寿命。而且,如果没有沿途的合作和促进,这个循环就不会存在,从而随着时间的推移加强每个元素。
同样,人类负责创造并促进数据和生成式AI的成功飞轮。人类提供了独特的好处,创造了更高效、更负责任和更有区别的生成式AI应用程序。人类产生了最初使生成式AI技术成为可能的创新,以及支持它的数据基础。人类确定了用例,并领导了支持独特业务需求的AI应用程序的开发。在途中的各个阶段,人类提供了宝贵的反馈,以最大限度地提高这些生成式AI应用程序及其生成的输出的效率。
人类的投入将继续是生成式AI开发过程中的一个关键组成部分,随着与这项技术关系的发展,解锁其潜力所需的技能也将与时俱进。亚马逊云科技致力于支持生成式AI的劳动力发展和再培训,提供100多门AI/ML课程和低成本培训机会。此外,亚马逊云科技还推出了新的方式来试验和学习生成式AI,如Party Rock,这是一个Amazon Bedrock游乐场。
数据、生成式AI和人类之间强大的共生关系正在加速创造新的创新和差异化的客户体验的能力。亚马逊云科技提供了一套全面的服务,包括数据管理、模型开发和人工智能协作,以释放这种变革性技术的潜力。
从一个安全的环境来定制专有数据的基础模型,到增强数据基础的AI驱动服务,再到内置AI的工具来增强员工生产力,以及实施人工反馈的机制,亚马逊云科技拥有利用生成式AI力量所需的一切。
正如爱因斯坦曾经说过的那样:“创造力就是看到别人看到的东西,并思考别人从未思考过的东西。”通过Party Rock这样的工具来启动生成式AI之旅,亚马逊云科技期待见证数据、生成式AI和人类创造力强大共生关系所产生的创新创造。
在撒哈拉以南非洲地区,大约每3,200名癌症患者就有一名肿瘤科医生,而在美国,这一比例约为每300名患者就有一名肿瘤科医生。在人口约1,350万的卢旺达,肿瘤科医生不足15名。这种巨大差距意味着卢旺达患者往往不得不长途跋涉前往医疗设施,并等到症状变得极为严重时才寻求治疗。
为了解决这一问题,Huron AI公司秉承了一个关键的使命信念:一个人生活的地方不应决定他们是否会死于癌症。该公司创建了一些应用程序,旨在让最佳的癌症护理触手可及,无论患者身在何处。通过利用建立在Amazon Bedrock之上的创新,Huron AI正在革新肯尼亚、尼日利亚和卢旺达最需要癌症护理的患者的癌症检测、诊断预测和治疗获取。该公司还通过填补代表性不足人群的关键癌症数据缺口,推进了公平的生物制药研发。
亚马逊云科技长期以来一直为客户提供全面的AI/ML、数据和计算产品。正因为如此,根据HG Insights的数据,比任何其他云提供商都有更多的机器学习工作负载运行在亚马逊云科技上。亚马逊云科技的AI/ML产品可以概念化为一个三层堆栈:
在底层是基础设施层,它提供了成本高效地训练基础模型和大规模部署所需的资源,包括硬件芯片和GPU。该层还包括Amazon SageMaker,这是一项服务,使机器学习从业者能够轻松构建、训练和部署ML模型,包括大型语言模型(LLM)。
中间层是Amazon Bedrock,它提供对领先的LLM和其他基础模型的访问,使客户能够构建和扩展生成式AI应用程序。
在顶层是赋予用户利用生成式AI的应用程序,无需专门知识或编码,例如Amazon CodeWhisperer,这是一款新的面向个人企业的生成式AI驱动助手。
这些层彼此构建,客户在生成式AI之旅的不同阶段可能需要其中的一些或全部功能。
虽然客户正在迅速适应诸如Amazon CodeWhisperer等服务以提高生产力,但亚马逊云科技也通过Amazon Q帮助用户利用生成式AI的力量完成更多工作。无论用户是构建应用程序、创建财务报告、向高管展示数据还是在呼叫中心工作,Q都可以加速各种工作职能的生产力。
当亚马逊内部对开发人员进行调查,询问他们如何度过时间时,他们透露一天中有相当大一部分时间集中在查阅文档、构建和测试新功能、维护和升级以及故障排除等任务上。Amazon Q可以通过利用将自然语言转换为代码的能力,使这些任务变得更加容易。
例如,查询数据仓库通常需要编写SQL代码来加载和分析PB级的结构化和半结构化数据。虽然亚马逊云科技提供了诸如Redshift查询编辑器之类的工具,具有自动完成建议和语法验证等功能,但查询工作负载仍然具有挑战性。一个看似简单的请求,比如确定在给定的时间范围或位置销售最多门票的场馆,实际上可能涉及一个复杂的SQL查询,需要反复试验。
为了解决这个问题,亚马逊云科技宣布了Amazon Q for Redshift的预览版。通过这种集成,用户可以用简单的英语询问“哪3个场馆销售的门票最多?”。底层模型然后分析模式,并在几秒钟内生成SQL查询建议,用户可以将其添加到笔记本中并运行进行测试。如果需要完善结果,用户可以通过对话和反馈提供更多上下文。
Amazon Q还可以简化构建数据集成管道的过程,这是许多亚马逊云科技客户仍需不断创建和维护的任务,即使有亚马逊云科技的零ETL集成。很快,用户将能够使用Q创建数据集成管道,使用自然语言。通过这种新的集成,用户可以更快地构建数据集成作业,使用简单的聊天界面对其进行故障排除,并获得即时的数据集成帮助。
例如,用户可以询问Q“从S3读取这些数据,删除空记录并将结果写入Redshift”,它将返回一个端到端的数据集成作业来执行此操作。在幕后,此集成使用Amazon Bedrock的代理将提示分解为一组特定任务,然后组合结果来构建这些集成作业,为集成数据提供了一个直观的界面,无需事先了解Amazon Glue。
客户还将AI功能融入到他们自己的产品中,为客户提供辅助体验。例如,丰田利用生成式AI来增强车辆的安全功能。在丰田,安全融入到公司所做的一切中,其工程师认识到通过他们的工作来拯救生命的机会。
丰田从全球数百万辆车辆中收集来自数百个传感器的数据,总计数PB的数据。挑战在于如何在每一秒都很关键的情况下实时处理所有这些数据。通过迁移到亚马逊云科技,丰田能够无缝传输其数据并利用亚马逊云科技的服务来解决这一挑战。当车辆发生碰撞时,来自通信模块的触发事件将被发送到丰田的亚马逊云科技云,呼叫中心的人员将在3秒内与车辆通话。
丰田还在使用更新的技术,如生成式AI,通过Amazon Bedrock等托管服务,该公司能够摄取车主手册并开发出一个由生成式AI驱动的助手。该助手可以使用简单的语音命令提供有关车辆各个方面的信息,实际上使汽车成为了自身的专家。
随着世界继续利用数据和生成式AI的力量,认识到人类智力在创造产生重大影响的客户体验中的关键作用至关重要。人类是创造一个强大的数据和生成式AI之间的相互强化循环的促进者。
这个循环可以比作巴拿马雨林中病毒树、巨嘴鸟和黑色侧足鹿之间的关系。树依赖巨嘴鸟散播种子,而吃种子的黑色侧足鹿则通过埋藏和遗忘一些种子来帮助树木繁衍。这种共生关系为所有相关方创造了长寿命——更多树木、更多食物和更长的寿命。此外,如果没有沿途的合作和促进,这个循环就不会存在,从而随着时间的推移加强每个元素。
同样,人类负责创造并促进数据和生成式AI的成功飞轮。人类提供了独特的好处,创造更高效、更负责任、更具差异化的生成式AI应用程序。人类产生了最初使生成式AI技术成为可能的创新,以及支持它的数据基础。人类确定用例并领导支持独特业务需求的AI应用程序的开发。在途中的各个阶段,人类提供宝贵的反馈,以最大限度地提高这些生成式AI应用程序及其生成的输出的效率。
人类的投入将继续是生成式AI开发过程中的一个关键组成部分,随着与这项技术关系的发展,释放其潜力所需的技能也将与时俱进。亚马逊云科技致力于支持生成式AI的劳动力发展和再培训,提供100多门AI/ML课程和低成本培训机会。此外,亚马逊云科技还推出了新的方式来试验和了解生成式AI,例如Party Rock,这是一个Amazon Bedrock游乐场。
为了进一步支持客户的生成式AI之旅,亚马逊云科技提供了亚马逊云科技 GenAI创新中心,这是一个将客户团队与亚马逊云科技自己的专家AI/ML科学家和战略专家配对的项目,以加速他们采用这项技术。自宣布这个项目以来,它已经获得了令人难以置信的动力。
许多客户表示希望获得专门的支持来定制满足他们需求的基础模型,这就是为什么亚马逊云科技正在通过创新中心推出新的产品。今天,亚马逊云科技宣布了一个新的创新中心定制模型计划,用于Anthropic的Claude模型。这个计划将于明年年初推出,将使客户能够与亚马逊云科技专家合作,使用他们的专有数据为其业务需求定制高度强大的Claude模型。这包括从范围需求到定义评估标准,再到使用客户数据进行微调的所有内容。然后,客户可以在Bedrock上安全访问和部署他们的私有模型,仅在他们的VPC中可用。
但是,定制基础模型并不是构建创新AI应用程序的唯一方式。有些客户需要强大的机器学习基础设施来从头构建自己的模型。例如,亚马逊云科技与NVIDIA合作已有13年,为广泛用于深度学习工作负载的大规模高性能GPU解决方案提供支持。本周,亚马逊云科技宣布扩大这一战略合作,提供下一代基础设施软件和服务,用于生成式AI,并为客户提供更多选择。
亚马逊云科技还投资了自己的ML芯片Amazon Trainium和Amazon Inferentia,以推动成本效率和性能的极限。此外,亚马逊云科技还通过Amazon SageMaker在软件层堆栈中为客户提供了软件工具。SageMaker使客户能够轻松构建、训练和部署ML模型,包括LLM,具有整个ML生命周期的工具和工作流程,从数据准备到模型部署。亚马逊云科技还投资于提供高效的模型训练,具有分布式训练库和内置工具来改善模型性能。Stability AI、AI21 Labs、Hugging Face和TII等领先组织正在Amazon SageMaker上训练他们的基础模型。
然而,训练基础模型仍然是一项极具挑战性的任务。客户需要获取大量数据、创建和维护大型加速器集群、编写代码以在集群中分布式训练模型、频繁检查和优化模型,并手动修复任何硬件问题。所有这些步骤都需要深厚的机器学习专业知识。
为了解决这些挑战,亚马逊云科技推出了SageMaker HyperPods的通用可用性,这是一种新的分布式训练功能,可将模型训练时间缩短高达40%。HyperPod预先配置了SageMaker的分布式训练库,使数据和模型能够高效分布在集群中的数千个芯片上并并行处理。HyperPod通过自动频繁地进行检查点,帮助客户反复暂停、检查和优化这些模型。如果发生硬件故障,它会检测故障、替换有故障的实例,并从最后一个检查点恢复训练,使客户能够在数周或数月内不间断地训练模型。
除了HyperPods,亚马逊云科技本周还宣布了一系列新的SageMaker功能,涵盖推理、训练和分析等方面。SageMaker Inference平均可将模型部署时间缩短50%,并实现20%的更好延迟。亚马逊云科技还推出了SageMaker Studio的新功能,包括新的用户体验,帮助客户更轻松地构建、训练和部署大型语言模型。
Perplexity是一家在亚马逊云科技上利用新模型创新重新构想搜索的公司,它正在利用最新的SageMaker创新来训练和部署自己的模型。Perplexity的首席执行官兼联合创始人Arvin Krinewas分享了该公司如何使用SageMaker在超过30亿个示例上训练模型,同时并发训练作业数量增加3倍、失败作业数量减少2倍,以及训练作业所需时间减少5倍。
随着客户继续构建和定制生成式AI应用程序,强大的数据基础变得越来越关键。亚马逊云科技提供了一套全面、集成的服务和工具,用于管理端到端数据工作流程中的数据。
首先,客户需要访问一套全面的服务,以满足他们在数据方面所面临的规模、数量和各种用例。亚马逊云科技提供了一系列广泛的工具,用于存储、组织和访问各种类型的数据,包括Amazon Aurora和Amazon RDS等关系数据库、Amazon DynamoDB等8种非关系数据库,以及用于存储和查询分析数据的Amazon Redshift,后者提供比任何其他云数据仓库高出6倍的性价比。
亚马逊云科技还提供了用于处理数据的工具,如Amazon QuickSight用于提供洞见,以及Amazon DataZone等服务用于跨所有领域对数据进行目录管理和治理。
当客户在AI应用程序中使用向量时,他们希望在现有数据库中使用向量,从而无需新的编程范式、工具、API和SDK。他们还更有信心使用熟悉的现有数据库,这些数据库可以不断发展以满足向量数据库的需求。当向量和业务数据存储在同一位置时,应用程序可以更快运行,无需进行数据同步或移动。
出于这些原因,亚马逊云科技正在大力投资于为其一些受欢迎的数据源添加向量功能,包括Amazon Aurora、Amazon Athena和OpenSearch Service。今年早些时候,亚马逊云科技宣布了对OpenSearch Serverless的向量引擎支持,由于其真正的无服务器性质,无需管理用于数据摄取和查询的服务器,因此迅速获得了客户的青睐。今天,亚马逊云科技宣布OpenSearch Serverless的向量引擎已经正式上市。
亚马逊云科技不仅为这些服务添加了向量支持,还加速了现有服务的性能。例如,Aurora优化读取现在可以支持数十亿个向量,每秒查询性能提高20倍,延迟仅为几毫秒,亚马逊云科技将继续在这些领域投资进行持续的性能改进。
对于在DocumentDB或DynamoDB等文档数据库或键值存储中存储数据的客户,亚马逊云科技宣布在两个流行的数据库中添加了向量功能:DocumentDB和DynamoDB。使用DocumentDB,客户现在可以将源数据和向量数据一起存储在同一个数据库中,而DynamoDB客户可以通过与Amazon OpenSearch的零ETL集成来访问向量功能。
亚马逊云科技还为MemoryDB for Redis添加了预览版的向量搜索功能,这是一种兼容Redis的内存数据库服务,可提供超快的性能。MemoryDB客户可获得超快的向量搜索,具有高吞吐量和并发性,可存储数百万个向量,即使在每秒处理数万个查询时,响应时间也仅为几毫秒,召回率高于99%。这种吞吐量和延迟水平对于诸如欺诈检测和实时聊天机器人等每一秒都很关键的用例至关重要。
最后,亚马逊云科技宣布了Neptune Analytics的正式上市,这是一种Neptune的分析数据库引擎,可以让数据科学家和应用程序开发人员更轻松、更快速地分析大量图形数据。客户可以通过分析现有的Neptune图形数据或S3上的数据湖,以高达80倍的速度执行图形分析以发现图形数据中的见解。Neptune Analytics还通过将图形和向量数据一起存储,简化了在图形数据中发现关系的向量搜索。一家拥有超过7.5亿月活跃用户的即时通讯应用正在使用Neptune Analytics,仅需几秒钟就可以对数十亿个连接执行图形分析,从而实现近乎实时的好友推荐。
亚马逊云科技预计,随着新用例的出现和蓬勃发展,其在向量功能领域的创新速度将快速加快。
强大数据基础的第二大支柱是确保跨越数据孤岛实现数据集成,从而获得业务的完整视图,并使其可为生成式AI应用程序随时访问。亚马逊云科技致力于实现零ETL的未来,大力投资于构建跨数据存储的无缝集成。自去年宣布这一愿景以来,亚马逊云科技已经推出了多个零ETL集成,包括Aurora、MySQL和Redshift之间的全托管集成,以及本周宣布的从Aurora、Postgres、Ariafor MySQL和DynamoDB到Redshift的新零ETL集成。
亚马逊云科技还宣布了DynamoDB和OpenSearch Service之间的新零ETL集成,使客户能够近乎实时地搜索和查询大量操作数据。之前,客户必须创建ETL管道到OpenSearch,才能尽快从各种日志源(如S3)查询数据并获得可操作的结果。有了这种新的集成,客户可以无缝搜索、分析和可视化所有日志数据,而无需创建ETL管道。他们可以使用OpenSearch控制台设置数据连接并运行查询,利用新的索引功能和物化视图加速查询和仪表板功能,并执行跨多个源的复杂查询,以进行取证分析和数据关联,从而防止服务中断和安全事件。
强大数据基础的最后一个组成部分是确保数据在应用程序开发过程中保持安全和受控,以维护高质量和合规性。去年推出的Amazon DataZone是一种数据管理服务,可帮助跨组织对数据进行目录管理、发现、共享和治理,使员工能够轻松发现和协作数据,从而推动业务洞见。
虽然DataZone有助于以受控的方式在组织内共享数据,但许多客户希望与特定合作伙伴安全地共享数据。为此,Amazon Clean Rooms可以让客户在不共享整个数据集的情况下与业务合作伙伴分析数据,从而使公司能够安全地分析集体数据并产生自己无法单独产生的见解。
然而,客户希望不仅在Clean Rooms中运行分析,还希望应用机器学习以获得预测性见解。实现这一目标的一种方式是通过相似模型,它可以利用少量客户记录生成一组扩展的类似记录,与合作伙伴共享,同时保护底层数据。
为了满足这一需求,亚马逊云科技推出了亚马逊云科技 Clean Room ML的预览版,这是一种与合作伙伴应用机器学习模型而无需共享数据的功能。通过Clean Room ML,客户可以跨集体数据训练私有相似模型,保持对模型的控制权,并在完成后将其删除。这些模型可以通过几个简单的步骤轻松应用,从而节省数月的开发时间和资源。Clean Room ML还提供了细粒度控制,可根据业务需求调整模型输出。相似建模现已推出,医疗保健建模将在未来几个月内推出。
Booking.com的SVP兼CTO Rob Francis分享了该公司如何利用亚马逊云科技的数据产品和生成式AI的见解。Booking.com管理着超过150PB的数据,认识到需要与亚马逊云科技合作来应对这些挑战。由于这种合作关系,Booking.com的数据科学家们可以并发训练的作业数量增加了3倍,失败作业数量减少了2倍,训练作业所需时间减少了5倍,其中一些作业是在超过30亿个示例上进行训练的。
Booking.com还利用亚马逊云科技的生成式人工智能产品构建了AI旅行规划师,使得以对话方式预订行程变得更加简单。该公司首先将LLaMA II模型作为SageMaker端点托管,用于意图检测。然后,AI旅行规划师使用基于亚马逊云科技技术的RAG实现,调用Booking.com的评论数据,帮助旅客做出明智决策。它还会填充一个JSON对象,直接与Booking.com的推荐引擎对接,该引擎由机器学习驱动,为用户提供最佳选择的旋转木马,以便直接在应用程序中预订。
Booking.com目前正在使用SageMaker,并与亚马逊云科技的Bedrock和Titan团队密切合作,开发新的令人兴奋的产品。
总而言之,数据、生成式人工智能和人类之间强大的共生关系正在加速创新和差异化客户体验的能力。亚马逊云科技提供了一套全面的服务,涵盖数据管理、模型开发和人工智能人机协作,以释放这种变革性技术的潜力,从安全的环境中使用专有数据定制基础模型,到强化数据基础的人工智能驱动服务,再到内置人工智能的工具以提高员工生产力,以及实施人工反馈的机制。凭借Party Rock等工具,亚马逊云科技期待见证这种数据、生成式人工智能和人类创造力之间共生关系所孕育的创新成果。
下面是一些演讲现场的精彩瞬间:
Ada Lovelace,世界上第一位计算机程序员,认识到计算机不仅仅用于数字运算,还可用于复杂任务,甚至创作音乐,这是对生成式人工智能的早期预见。
演讲者展示了泰坦图像生成器强大的编辑功能,展现了它无缝更换背景、生成变体和改变方向的能力。
客户正在Bedrock上快速开发基于人工智能的应用程序,用于自助服务、客户支持和趋势预测等各种用例。
亚马逊云科技推出SageMaker HyperPods,这是一种分布式训练功能,可将模型训练时间缩短高达40%,并实现跨数千个芯片的高效并行处理。
亚马逊推出Neptune Analytics,这是一种分析引擎,可让数据科学家和开发人员在现有Neptune图形数据或S3上的数据湖中执行高达80倍更快的图形分析,从而更容易发现关系并从大型图形数据集中获得洞见。
亚马逊云科技提供了一套全面的工具和服务,可利用人工智能的力量,使组织能够创建创新解决方案并通过数据、生成式人工智能和人类专业知识之间的协同作用提高生产力。
在一段引人入胜的叙述中,亚马逊云科技数据和AI副总裁Swami Sivasubramanian揭示了人类、数据和生成式AI(GenAI)之间深刻的共生关系。他生动描绘了这一三元体如何推动前所未有的创新,并改变我们工作和创作的方式。
Swami首先强调了世界上第一位计算机程序员Ada Lovelace的关键作用,她认识到计算机不仅仅用于计算,还能理解和创造。这预示了当前的GenAI时代,人类和技术形成了相互有利的伙伴关系,各自贡献独特的优势。
叙述接着深入探讨了这种共生关系的三个关键要素:数据、GenAI和人类。作为GenAI的燃料,数据通过亚马逊云科技全面的数据基础设施得到探索,包括存储、组织和访问各种数据类型的广泛服务和工具。Swami揭示了新的创新,如跨数据库的向量功能、0 ETL集成和AI驱动的优化,使客户能够更高效地利用数据的力量。
GenAI成为焦点,Swami介绍了Amazon Bedrock,这是一个使用客户数据定制基础模型的安全平台。他展示了新的功能,如用相关上下文增强提示的知识库、执行复杂任务的代理以及用于文本、图像和多模态应用的Titan模型。来自Intuit、Booking.com和丰田等客户的真实案例说明了GenAI对客户体验的变革性影响。
人类是第三大支柱,被视为推动这种共生关系的促进者和创新者。Swami强调亚马逊云科技在Amazon CodeWhisperer和Amazon Q等工具上的投资,这些工具增强了人类的生产力和创造力。他强调人类输入、反馈和技能发展在塑造负责任和差异化的GenAI应用中的重要性。
叙述以一个有力的行动号召达到高潮,邀请观众拥抱这种共生关系的变革潜力,并利用亚马逊云科技全面的数据和GenAI产品组合(包括Party Rock游乐场进行实验和学习)来开启新的创新。
在数据、GenAI和人类汇聚的世界里,Swami的叙述描绘了一个充满可能性的未来,在这里,这种共生关系将推动人类在创造力、生产力和问题解决方面达到前所未有的高度。
我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出,企业要从“成本优化”转向“创新驱动”,通过完善的数据战略和AI云服务,把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在AI时代突破。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70038688/viewspace-3091357/ ,如需转载,请注明出处,否则将追究法律责任。