ITPub博客

首页 > 云计算 > 公有云实践 > RisingWave构建实时环境感知AI流数据基础设施

RisingWave构建实时环境感知AI流数据基础设施

公有云实践 作者:出海新观点 时间:2025-07-14 21:09:03 0 删除 编辑

关键字: [亚马逊云科技, 生成式AI, RisingWave, 实时环境感知, Ai流数据, 基础设施生态, 动态上下文, 主动式上下文]

导读

RisingWave是一款开源的流数据处理数据库,主要用于处理实时数据流。它能够高效地进行数据摄入、转换和存储,支持增量计算、流批混合处理,并可实现实时数据湖入库。RisingWave专注于为AI应用提供环境感知能力,通过动态上下文构建、认知闭环形成和多层次上下文支持,为AI系统提供实时环境感知的数据基础设施。RisingWave建立在亚马逊S3存储和EKS/EC2计算资源之上,具有高性能、高可扩展性和良好的生态友好性。

演讲精华

以下是小编为您整理的本次演讲的精华。

下午好,大家可能已经有些疲惫了,但让我们继续专注于今天的主题。首先,我要感谢亚马逊公司的分享机会,以及索哥的介绍。我们 RisingWave 是亚马逊的 APN 合作伙伴,也是其 Marketplace 上的一家 ISV 供应商,主要产品是流数据处理数据库 RisingWave。

在场的朋友中,有人听说过 RisingWave 吗?有人使用过 OpenAI、Bedrock 或 Claude 编写过 AI 程序吗?今天,我将尝试为大家介绍 RisingWave 的工作原理,以及我们在 AI 领域所关注的解决方案。

我是胡湘宇,RisingWave 亚太区业务负责人和 CSO,之前在微软、华为和英特尔都有过工程师的工作经历。简单介绍一下 RisingWave,它是一款开源的流式数据处理数据库,代码和产品均由我们自主研发。它的交互语言主要是 SQL,属于关系型数据库的范式。

在典型的数据架构中,RisingWave 处于中间位置。它的上游是数据流的产生源,包括消息队列、数据库 CDC 和 Lakehouse 等;下游则是将处理后的数据存储到亚马逊 S3,我们在 S3 上实现了行存和列存。RisingWave 能高效地摄取上游数据,并对数据进行各种变换计算。经过处理后,数据可以根据用户规则输出到下游,也可以在 RisingWave 内部直接使用 SQL 进行查询。

RisingWave 有以下几个特点:它采用了增量视图维护(Incremental View Maintenance)技术,能够高效地对流入的新数据进行增量计算。它既可以处理流式数据,也可以处理批量数据,数据处理是实时的,可以在几秒甚至毫秒级完成。它支持将处理后的数据实时写入 Apache Iceberg 和亚马逊 S3 Table,并可被实时查询。

我们是一家成立于2019年的创业公司,目前已经第四年了。主要服务于海外的行业用户和各国客户,包括欧美、亚洲和中东等地区。用户的业务可以分为线上和线下两类:线上业务包括监控告警、特征工程、实时风控、实时搜索推荐、广告推荐等,这些都需要实时流数据驱动。线下业务则包括实时数据迁移、实时 ETL 和实时 BI 分析等。对于这些场景,RisingWave 都是非常合适的选择。

接下来讨论一下 AI 在流数据基础设施方面的应用。通过与硬件、软件公司和投资机构的交流,我们发现 AI 主要在这三个领域有所作为:软件生态、智能硬件和数据基础设施生态。

在软件生态领域,代表案例包括 Anthropic AI、RAG、Lama Index、DeFi 平台和知识库应用等。它们对数据的核心需求是低延迟检索和多模态数据源。

智能硬件领域包括智能穿戴设备、眼镜、手表、耳机等。它们需要实时融合多源数据,并对环境有感知,以便与用户进行对话交互。我们有一个智能穿戴设备客户的案例,他们的传统做法是,当用户发起请求时,设备就从知识库查询答复。但新的做法是,设备主动感知用户的环境(位置、生理数据等)和兴趣,将这些动态数据流推送给 AI,由 AI 根据最新的综合视图,主动与用户对话,提供个性化的服务和建议。

数据基础设施生态则是 RisingWave 所在的领域。代表案例有 PostgreSQL 生态(Supabase、Neon 等)、NoSQL 数据库(Mango DB 收购 Voyage AI)、大公司并购数据公司(Cosmos 收购)等。它们对数据库的核心需求是计算和存储的可扩展性,以及对开发者友好的生态。

其中,环境感知是一个非常重要的概念。很多人已经不再关注 AI 模型本身,而是关注 AI 如何去探索这个世界。只有当 AI 理解了环境及其变化,才能有能力去推理和探索。这涉及到三个关键技术:动态上下文构建、认知闭环和多层次上下文。

上下文可分为四类:静态上下文(知识库、历史记录等)、动态上下文(实时金融行情、社交媒体舆情等)、主动式上下文(环境变化主动推送给 AI)和可扩展上下文(像 S3 一样能无限扩展)。

对于静态上下文,RisingWave 的优势在于构建于 S3 之上,能够高效存储和检索 PB 级别的数据,并通过行存和列存适应不同的负载需求。

对于动态上下文,RisingWave 采用基于时间的索引,能够在不同时间点呈现不同的数据视图,支持实时的知识更新和关联建立。这与传统的分钟级或小时级的批处理刷新有着本质区别。我们有一个客户案例,他们通过 RisingWave 将实时金融数据流、公司信息和新闻等多源异构数据融合到一张表中,AI 只需对这一张表进行查询,就能获取最新的综合视图,从而大幅提高精确度和效率。

对于主动式上下文,传统的 AI 是被动响应的,而 RisingWave 能够主动推送环境变化,触发 AI 工作流程。这需要三个关键技术:流式扩展(数据流越多,获得的价值就越大)、数据推理(从流中推导出业务场景)和运行时工作流调整(动态调整 AI 工作流以适应环境变化)。

最后,关于规模化扩展,RisingWave 能够每秒处理 100 万个事件,集群恢复时间小于 10 秒;数据新鲜度可以在 1 秒内获取;支持集群弹性扩缩容、多路复用连接和并发查询等,整体性价比可以提升 5 倍以上。RisingWave 是建立在亚马逊 S3、EKS 和 EC2 之上的分布式流计算平台,实现了存算分离。

我们未来将支持向量化特征存储和查询,以满足类似 AI 特征工程的需求。目前已有用户将 RisingWave 与 ElastiCache 和调度工具结合,处理结构化和非结构化数据;将来可以将两者融合到同一数据库中,通过物化视图的方式将结构化和非结构化数据无缝集成,提供永远最新的综合视图,实现一次查询即可满足需求。我们有一个客户案例,他们之前使用 ElastiCache 处理结构化数据、RisingWave 处理非结构化数据,通过调度工具实现数据流驱动。现在,他们可以将两种数据统一存储在 RisingWave 中,并通过物化视图将它们融合,提供实时的综合视图查询。比如,用户可以查询“过去一天亚马逊股票最利好的 3 条新闻”,系统会自动从结构化数据中获取情感分数,从非结构化数据中提取相关新闻,并一次性返回结果,无需额外的数据处理和合并。

总之,RisingWave 旨在为 AI 构建实时的、环境感知的流数据基础设施,支持动态上下文构建、多层次数据融合、主动式环境交互和规模化扩展等关键能力,助力 AI 系统更好地探索这个世界。

以上是我对 RisingWave 在 AI 流数据基础设施领域的介绍,如有任何疑问,欢迎继续交流。

下面是一些演讲现场的精彩瞬间:

RisingWave 能够将实时金融数据、公司信息和新闻等不同数据源合并为一张大表,提高 AI 分析的准确性和效率。

通过统一的数据库和物化视图技术,用户可以直接获取结构化和非结构化数据的综合查询结果,大大提高了效率。

总结

RisingWave是一款开源的流数据处理数据库,专注于构建实时环境感知AI流数据基础设施。它基于亚马逊S3存储,采用增量计算和流批混合的方式,可实现毫秒级的实时入湖和查询。RisingWave的核心优势在于动态上下文构建、认知闭环形成和多层次上下文支持,能够为AI提供环境感知和主动式上下文服务。它可处理百万级的事件流,具备秒级数据新鲜度和高性价比,已在多个行业应用场景落地。

RisingWave致力于解决AI对数据的核心需求,包括低延迟检索、多模态数据源融合、实时环境感知等,为AI赋能探索世界、主动交互提供了数据基础设施层面的支持。未来,RisingWave将进一步融合向量数据库能力,为开发者提供一站式的实时数据驱动AI应用开发体验。

凭借创新的流数据处理架构,RisingWave正在成为AI环境感知和上下文构建的关键基础设施,推动AI系统从被动响应向主动驱动的演进,为人工智能的发展注入新的动能。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出,企业要从“成本优化”转向“创新驱动”,通过完善的数据战略和AI云服务,把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在AI时代突破。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70038688/viewspace-3091102/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2024-05-21

  • 博文量
    679
  • 访问量
    564541