ITPub博客

首页 > 云计算 > 公有云实践 > 亚马逊云科技-NoSQL数据库生成式人工智能应用

亚马逊云科技-NoSQL数据库生成式人工智能应用

公有云实践 作者:出海新观点 时间:2025-07-16 23:59:47 0 删除 编辑

关键字: [亚马逊云科技, 生成式AI, DynamoDB, Génération Intelligence Artificielle, Données Non Structurées, Traitement Données, Stockage Données, Modèles Langage]

导读

在这场演讲中,演讲者介绍了亚马逊云科技的NoSQL数据库产品在生成式人工智能应用中的应用。他解释了生成式AI应用中涉及的多种数据类型,包括结构化数据、非结构化数据、向量数据和原始数据,以及这些数据的特点,如海量数据、多样化和实时处理需求。他指出,NoSQL数据库能够满足这些需求,具有无固定模式结构、灵活数据模型、高访问性能和可扩展性等优势。他重点介绍了亚马逊的两款NoSQL数据库产品DynamoDB和DocumentDB,分别适用于向量数据检索、对话消息存储等场景。总的来说,NoSQL数据库能够支撑生成式AI应用的神经系统,高效存储和处理海量多样化数据。

演讲精华

以下是小编为您整理的本次演讲的精华。

在当今时代,生成式人工智能应用已经成为一种不可或缺的技术,它能够模拟人类的思维过程,生成自然语言、图像、视频等多种形式的内容。然而,支撑这一切的核心在于海量的数据流动,就像人体的神经系统一样,由整体大模型来指挥、分散、发送和反馈。这些数据流在某些阶段需要暂时停留并存储,亚马逊云科技的NoSQL数据库便可以为此提供强有力的支持。

生成式人工智能应用中包含多种数据类型,从高层次上可分为结构化数据、非结构化数据、向量数据和原数据四大类。结构化数据包括用户个人资料、注册信息、兴趣爱好等;非结构化数据则包括文本、图片、声音等无固定格式的数据;向量数据是将图片、文本、视频等切分并嵌入高维度向量,用于基于向量的搜索和相似性匹配;原数据则包含大模型参数、数据来源、创建时间、标签、分类等长期存在且可能变化的信息。

这些生成式人工智能数据具有规模海量、多样化、需要实时处理等特点。以对话AI助手为例,想象一下有多少人同时在线对话,每天都会产生大量新的对话数据需要存储,加之新用户的注册信息,每天积累的数据量可能高达TB级别。此外,数据种类繁多,既有结构化数据,也有非结构化数据如文本、图像、视频等。另一方面,用户对AI助手的回复需要实时处理,任何延迟都可能导致用户体验下降。除此之外,这些数据中还包含用户的个人信息和隐私,需要进行安全审计保护。

为了高效处理和存储如此庞大和复杂的数据,对数据库提出了诸多要求。首先,需要高扩展性以支持海量数据存储和大并发访问;其次,需要低延迟以实现实时查询反馈,希望在几十毫秒内就能获取数据;第三,需要灵活的表结构模式,能够适应表结构的频繁变化,尤其是在非结构化数据的场景下;第四,需要支持向量数据的检索存储,将私域知识或业务数据嵌入高维向量进行快速准确的检索;第五,需要支持多模态数据;最后,需要保证数据的安全性和隐私。

最初,许多创业公司会选择使用关系型数据库如MySQL或PostgreSQL,因为开发人员更熟悉这些数据库。然而,随着数据量的激增,关系型数据库在写入和查询海量数据时会遇到严重的性能瓶颈。以对话消息为例,如果一天新增5000万至6000万条数据,一张表很快就会存储10亿条以上的数据,此时写入和查询的性能都将大幅下降。由于关系型数据库本身的特性,它并不适合处理这种场景。

为了解决这一问题,亚马逊云科技等公司推出了NoSQL数据库解决方案。NoSQL数据库具有无固定模式结构、灵活的数据模型、高访问性能、良好的可扩展性等特点,可以很好地满足生成式人工智能应用对数据处理和存储的需求。

其中,亚马逊云科技提供了两种主要的NoSQL数据库产品:DynamoDB和DocumentDB。

DynamoDB是一种以JSON格式存储数据的NoSQL数据库,具有强大的查询能力,不仅支持普通的聚合查询和统计分析查询,还支持向量查询和全文检索查询。它与MongoDB API兼容,客户可以无缝地将数据迁移到DynamoDB或从DynamoDB迁移出去,避免了云厂商锁定的问题。作为一种全托管服务,DynamoDB的所有备份、扩展、安全管理等都由亚马逊云科技负责,客户只需关注应用开发即可。

在生成式人工智能应用的核心场景中,DynamoDB可以用于向量数据的检索存储、对话消息历史的存储、非结构化内容的管理等。它的优势在于无固定模式的表结构非常灵活,可以适应不断变化的数据需求,允许深层次的嵌套;同时,它还可以对数据向量化,构建高维索引,实现快速响应和准确结果。

一位客户就利用DynamoDB存储了对话历史消息,数据格式采用JSON格式,包含对话ID、用户ID、对话内容、时间戳等字段。在该客户的生成式AI应用中,用户输入后,系统会获取对话历史和情景上下文,然后从DynamoDB中检索预存的向量数据,结合提示词工程调用大语言模型,最终返回结果并更新对话状态信息。在这个过程中,DynamoDB不仅用于向量检索,还负责存储对话历史等业务数据,使得应用开发更加简单高效。

另一款NoSQL数据库产品DocumentDB则是一种JSON文档数据库,最初应用于亚马逊的电商业务。它采用Serverless架构,可以根据流量自动调整资源分配,存储空间实际上是无上限的。DocumentDB的写入延迟保持在10毫秒以内,即使数据量增加到亿级别,写入性能也不会下降。

DocumentDB通常被建议用于存储对话消息,因为它的读写性能非常高,而对话消息存储通常不需要复杂的查询操作,只需按照时间或ID号进行点查询即可。在生成式AI应用中,DocumentDB可以存储情景、上下文、对话历史状态等数据,通过专属数据存储API获取这些数据,为大模型提供支持。

总的来说,亚马逊云科技的这两种NoSQL数据库产品都可以在生成式人工智能应用中发挥重要作用,满足不同的数据处理和存储需求。DynamoDB更适合处理复杂查询、向量检索等场景,而DocumentDB则擅长高吞吐的读写操作。通过合理选择和利用这些产品,生成式AI应用可以高效地管理海量多样的数据,为用户提供卓越的体验。

下面是一些演讲现场的精彩瞬间:

当数据量达到十亿级别时,关系型数据库在写入和查询性能上会遇到瓶颈问题,无法充分利用其优势。

总结

亚马逊云科技的NoSQL数据库在生成式人工智能应用中扮演着关键角色。这些应用产生了海量、多样化的数据,包括结构化、非结构化、向量和原始数据。NoSQL数据库能够高效存储和处理这些数据,满足实时处理、高扩展性、低延迟查询和灵活模式等需求。

亚马逊云科技提供了两种主要的NoSQL数据库产品:DynamoDB和DocumentDB。DynamoDB擅长存储和检索向量数据、对话历史消息等,支持高维向量索引和快速响应。DocumentDB则适合存储大规模对话消息,具有优秀的写入性能和自动扩展能力。这两种数据库在生成式AI应用中发挥着不同的作用,为神经网络般的数据流提供了强大支撑。

通过NoSQL数据库的支持,生成式AI应用能够实现个性化体验、上下文连贯性、模型优化训练和合规审计等功能。亚马逊云科技的NoSQL数据库产品为生成式AI应用的发展提供了坚实的数据基础,助力人工智能技术的不断创新。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出,企业要从“成本优化”转向“创新驱动”,通过完善的数据战略和AI云服务,把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在AI时代突破。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70038688/viewspace-3091383/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2024-05-21

  • 博文量
    679
  • 访问量
    564298