关键字: [ 亚马逊云科技中国峰会2024, Step Function, 知识切分, 段落召回, 元数据保存, 向量化处理, 并行Etl 处理]

本文字数: 1000, 阅读完需: 5 分钟

导读

在这个演讲中, 吕宁分享了在RAG 应用中提升性能的两个实践。第一个实践是关于知识的切分和召回, 他们会将各种文件格式统一转换为Markdown 格式, 并根据段落结构进行切分, 保留元数据信息。在召回时, 会搜索最匹配的文本块, 并结合上下文段落内容提供给大语言模型。第二个实践是关于处理大量知识, 他们使用Step Function 和Glue Job 进行并行处理, 将文件转换为Markdown 格式, 进行切分向量化, 并将中间状态保存在S3 中。这些实践旨在提高RAG 应用的性能和效率。

演讲精华

以下是小编为您整理的本次演讲的精华，共700 字，阅读时间大约是4 分钟。

在亚马逊云科技的解决方案架构师吕宁的演讲中, 他详细阐述了在RAG(Retrieval Augmented Generation) 应用中提升性能的两种数据预处理实践。首先, 他介绍了关于知识切分和召回的实践方法。为了统一处理各种格式的文件, 如PDF 、Word 文档和HTML, 他们将所有文件转换为Markdown 格式。 这种做法不仅保留了文件的内容, 同时也保留了文件的格式信息, 方便前端进行渲染。基于人类写作的习惯, 即将同类型的内容放在同一段落, 相关内容放在相邻段落, 他们首先根据段落对文件进行切分。如果切分后的某个段落长度超过了最大Embedding 模型的Token 限制, 他们会对该段落进行二次切分, 以确保每个切分块的长度符合要求。

在切分过程中, 他们会为每个切分块保存一些元数据, 包括该文本块所在章节的段落结构信息, 如副段落、子段落、上一个同级段落和下一个同级段落的标识。每个切分块由一个独一无二的Chunk ID 标识, 并记录了该块的标题、层级、父段落ID 、上一个同级段落ID 、子段落ID 、下一个同级段落ID 以及切分后的段数。例如, 一个Chunk ID 为1.2 的段落, 其Level 为2, 表示它是一个二级标题;“ 解决方案整体架构” 。它的Parent 、Previous 、Child 和Next 分别记录了它的父段落ID 、上一个同级段落ID 、子段落ID 和下一个同级段落ID 。如果该段落被二次切分,Size 则记录了切分后的段数, 比如Size 为3, 表示该段落被切分成了3 段。

在召回时, 他们首先在向量数据库中搜索最匹配的文本块, 如找到了Chunk ID 为1.2 的段落。然后, 通过该段落的Previous 和Next 字段, 即上一个和下一个段落的Chunk ID, 他们可以在向量数据库中搜索到这两个相邻段落的内容, 即1.1 和1.3 。最后, 将这三个段落拼接成一个大的上下文, 提供给大语言模型进行处理。这种方式可以避免上下文信息的丢失, 同时也可以根据需求自定义召回逻辑, 如将子段落也加入到上下文中。

第二个实践是关于如何高效处理大量知识的方法。他们使用了Amazon Step Function 和Amazon Web Services Glue Job 来实现这一目标。当一个ETL 请求到来时,Step Function 会根据需要处理的文件数量触发相应数量的并发Glue Job 。每个Glue Job 的任务就是将文件转换为Markdown 格式, 进行二次切分和向量化, 最终将切分好的文本块注入到向量数据库中。在这个过程中, 中间状态如转换后的Markdown 文档和切分的文本块都会保存在Amazon S3 中, 方便人工进行调整和审查。所有Glue Job 执行完毕后, 会通过Amazon SNS 发送通知, 告知用户可以进行下一步操作了。

通过这两种实践, 吕宁阐述了在RAG 应用中提升性能的数据预处理方法, 包括知识的切分和召回, 以及如何高效处理大量知识。这些方法利用了Amazon 的多种云服务, 如Step Function 、Glue Job 、S3 和SNS, 旨在提高RAG 应用的性能和效率, 为用户提供更好的体验。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技中国峰会2024 上, 演讲者强调了知识切分和知识召回的重要性, 这是实现人工智能突破的第一个实践。

演讲者介绍了将各种文件格式统一转换为Markdown 格式的过程, 以保留文件内容和格式, 方便前端渲染。

亚马逊云科技中国峰会2024 上, 演讲者解释了人工智能如何模仿人类写作习惯, 通过段落切分和二次切分来处理长文本, 展现了亚马逊在自然语言处理领域的创新实力。

亚马逊云科技中国峰会2024 演讲中, 演讲者详细解释了JSON 对象的结构和属性, 以及如何处理过长的段落。

亚马逊云科技中国峰会2024 演讲中, 演讲者详细解释了如何利用向量数据库和大语言模型进行上下文召回, 避免数据丢失, 提高语义理解能力。

亚马逊云科技中国峰会2024 上, 演讲者分享了如何利用Amazon Web Services Step Function 和Glue Job 高效处理大量知识, 将文件转换为Markdown 格式, 进行切分向量化, 并注入向量数据库, 中间状态保存在S3 中以便人工调整。

演讲者介绍了亚马逊云科技如何利用 Glue Job 和 SNS 服务来简化数据处理流程, 提高工作效率。

总结

在亚马逊云科技中国峰会2024 上，解决方案架构师吕宁分享了提升RAG 应用性能的知识ETL 工程实践。首先, 他介绍了知识切分和召回的方法。所有文件被转换为Markdown 格式, 保留内容和格式。根据段落结构进行切分, 并保存元数据如标题、层级、父子关系等。在召回时, 通过向量数据库搜索匹配段落, 结合元数据找到相邻段落, 拼接成上下文提供给大语言模型。

其次, 他阐述了处理大量知识的方法。利用Step Function 和Glue Job 实现并行ETL, 将文件转换为Markdown 、切分向量化, 并注入向量数据库。中间状态保存在S3 中, 方便人工调整。最后通过SNS 通知结果, 供用户后续操作。

吕宁的分享揭示了优化RAG 应用性能的关键技术, 为开发人员提供了宝贵的实践经验。通过高效的知识处理和召回,RAG 应用能够更好地服务于用户需求。

2024 年 5 月 29 日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。