关键字: [亚马逊云科技， DeepSeek， 企业知识库解决方案， 文档向量化存储， 多模态问答检索， 大模型微调优化， 工具集成调用]

导读

在这个演讲中，演讲者介绍了基于DeepSeek的企业知识库解决方案。该解决方案通过CDK部署，分为聊天相关和设置相关两个部分。知识库支持上传多种文件类型，包括PDF、Word、Excel和图片等。用户可以通过QA对检索、关键字检索和向量检索三种方式进行问答。该方案支持图文显示，并提供了工具调用和系统集成功能。该解决方案采用灵活的部署方式，并提供了安全和监控功能。

演讲精华

以下是小编为您整理的本次演讲的精华。

在这场关于Amazon Web Services DeepSeek企业知识库解决方案的分享中，演讲者首先介绍了该解决方案的应用场景。企业知识库主要用于设备维保、售后客服和内部问答三个领域。这三个场景都面临着一个共同的挑战:原始文档数量庞大，通过人工方式进行解答和检索非常耗时，且准确率较低。而DeepSeek企业知识库解决方案可以很好地解决这一问题。

接下来，演讲者对解决方案的部署方式进行了说明。该解决方案是通过亚马逊云科技云开发工具包(CDK)进行部署的。部署完成后，解决方案分为两个主要部分:一部分与聊天相关，包括智能问答和查看聊天记录等功能;另一部分与设置相关，包括机器人管理、知识库管理和提示词管理等功能。

在知识库上传方面，该解决方案支持多种文件格式，包括PDF、Word、Excel，以及常见的图片格式如PNG和WebP等。用户可以将这些文件上传到知识库中，在与知识库进行交互时，系统提供了三种解锁方式。

第一种解锁方式是QA对检索。这种方式适用于常见问题解答(FAQ)的场景，系统会直接从知识库中匹配问题，如果匹配度达到99%或更高，就会直接返回对应的答案，无需经过大模型的处理。

第二种解锁方式是关键字检索。在这种方式下，系统会在向量库(如OpenSearch或Elasticsearch)中直接进行文本搜索。

第三种解锁方式是向量检索。首先，系统会通过Embedding模型对所有文字进行向量化处理。向量化完成后，系统会在知识库中匹配相关向量，从而检索出相关的文本块。

关键字检索和向量检索这两种方式通常会被结合使用，称为混合检索。具体来说，在检索时，系统会找到Top 3的关键字检索结果和Top 3的向量检索结果，将它们合并成一共六个文本块。然后，系统会通过Rerank模型对这六个文本块进行重新排序，最后将重新排序后的结果送入大模型进行推理，生成最终的答案。

在大模型方面，DeepSeek解决方案支持Claude系列模型(如Claude 3.5和Claude 3.7)、DeepSeek R1模型，以及与OpenAI兼容的第三方API提供商的模型。此外，用户也可以将自己部署在SageMaker Endpoint上的大模型集成到该解决方案中。

该解决方案还支持图文一并展示。如果文档中包含插图或HTTP图片链接，那么在问答过程中，相关图片也会一并显示出来。

在工具调用方面，DeepSeek解决方案目前支持三种工具调用方式。首先，它预制了一些常用工具，如RAG工具和获取天气信息的工具。其次，由于该解决方案基于LongTon实现，因此与LongTon兼容的任何工具都可以集成到解决方案中。第三，基于MCP(Machine Cooperation Primitives)，该解决方案可以作为MCP Server被其他系统调用，也可以调用第三方开源的MCP Server，如爬虫和网页搜索等。

对于如何与现有系统集成，DeepSeek解决方案提供了四种集成方式。第一种是WebSocket和HTTP服务器发送事件(SSE)，这两种方式主要基于流式处理，适用于需要通过流式方式集成的场景。第二种是REST API，适用于不需要流式处理的场景。第三种是UI界面，可用于调试和演示。第四种是通过Amazon Amplify进行无服务器集成。

在部署方式上，DeepSeek解决方案提供了灵活的选择。在部署过程中，用户会看到一个问卷调查，需要回答是否需要部署某些模块、是否使用已有的OpenSearch实例、是否使用已有的VPC，以及是否需要跨区域调用Bedrock等问题。根据用户的回答，系统会进行相应的配置和部署。

为了提高安全性，DeepSeek解决方案集成了Bedrock Guardrail模块。该模块可以过滤个人敏感信息，如手机号码和地址等，还能进行黑名单处理，从而为解决方案提供更多安全功能。

在监控方面，DeepSeek解决方案的UI界面可以展示每次对话的详细信息，包括响应时间、执行步骤、调用的工具、检索的文档，以及相关分数等，方便用户进行监控和调试。

接下来，演讲者介绍了DeepSeek解决方案的具体实现架构。前端部分主要通过CloudFront和S3实现，使用React框架开发，认证则通过Cognito和Amazon Amplify完成。

后端部分中，文档上传和知识处理主要通过Step Functions和Glue Job完成。Step Functions是亚马逊云科技上的一种无服务器工作流服务，而Glue Job则是一种用于ETL(提取、转换、加载)的服务。在这里，Glue Job会将上传的文档进行转换和解析，最终将处理后的数据加载到OpenSearch中。

聊天模块(即召回模块)主要通过Lambda实现。在Lambda中，会实现一个工作流，指定当用户发起对话时，需要执行哪些步骤。

其他模块，如机器人管理、提示词管理等，则通过API Gateway、Lambda和DynamoDB实现。

接下来，演讲者详细介绍了知识批量处理的流程。当文档上传到解决方案时，Step Functions中的一个任务分发器会启动多个并发的Glue Job进行处理。每个Glue Job内部还会启动多个线程，每个线程处理一个文档。启动的Glue Job数量和线程数量取决于上传文档的数量。

在Glue Job中，首先会对文档内容进行解析。无论是PDF、HTML还是Word文档，都会首先被转换为统一的Markdown格式。然后，系统会根据段落或标题对文档进行初步切分，再根据固定长度进行二次切分，最终将切分好的文本块通过Embedding模型进行向量化，并注入到向量知识库中。切分后的文本块和文档原始内容(包括插图)都会存储在S3中。

对于PDF文档，系统会先通过布局模型进行布局分析，判断每一页中的内容是表格、段落还是图片。如果是表格或段落，就会通过OCR模型将图片转换为文字;如果是插图，则会调用多模态大模型(如LaMa、LaMa-VL或Claude)将图片转换为文字描述，最终再进行向量化存储。

接下来，演讲者介绍了召回模块的工作流程，该流程是基于LongTon实现的。首先，系统会进行问题改写，这是一个可选步骤，用于引入用户的专业词汇。

改写后，系统会进行意图识别。首先尝试进行QA对匹配，如果匹配度超过预设置信度(如99%或95%)，就直接返回对应的答案。如果匹配度不足，系统会根据识别出的意图选择相应的工具，目前主要是RAG工具，将检索结果送入生成模型，最终返回答案。

在检索过程中，系统会采用混合检索的方式，取前3个关键字检索结果和前3个向量检索结果，合并成6个文本块，然后通过Rerank模型重新排序，再送入大模型进行推理。

接下来是现场的系统演示环节。演示者首先创建了一个聊天机器人，选择了SageMaker作为模型供应商，内置了DeepSeek的Embedding模型。然后，演示者上传了相关的企业内部知识文档，并调整了提示词。

之后，演示者选择了已创建的机器人，开启了对话。在对话配置中，演示者填写了DeepSeek在Amazon Marketplace上的API密钥等相关信息。在实际对话过程中，我们可以看到系统是如何通过倒排索引和向量检索取出前5个相关文本块，然后对它们进行总结，最终输出回答的。

在问答环节，有与会者提出了一些问题和疑虑，例如如何优化召回效果、如何将企业知识图谱与文本知识相结合、是否支持跨多种文件格式(如图文PDF)的问答、如何避免大模型产生幻觉等。对此，演讲者分别作出了解答和说明。

总的来说，这场分享全面介绍了DeepSeek企业知识库解决方案的应用场景、架构设计、实现细节和部署方式，并通过现场演示展示了系统的实际运行情况。该解决方案支持多种文件格式的上传和处理，提供灵活的问答检索方式，可集成第三方大模型和工具，具备监控和安全保障功能，可根据需求进行定制化部署，是一款功能全面的企业级知识库产品。

下面是一些演讲现场的精彩瞬间：

Before starting， the speaker asks the audience if anyone has built a knowledge base or intelligent chatbot for their company， requesting a show of hands from those who have.

通过配置不同的提示词，AI助手可以根据不同角色和需求提供相应的回答细节和总结程度。

总结

在这场演讲中，亚马逊云科技解决方案架构师吕宁介绍了基于DeepSeek的企业知识库解决方案。该解决方案旨在解决企业中设备维护、售后客服和内部问答等场景中，人工解答效率低下和准确率不高的问题。

该解决方案通过CDK部署，分为聊天相关和设置相关两个部分。它支持多种文件格式上传，并通过QA对检索、关键字检索和向量检索三种方式进行智能问答。该方案支持图文显示，并提供了工具调用功能。它还提供了灵活的部署方式，可根据需求选择相应模块。此外，该解决方案还集成了Bedrock Guardrail安全模块，并提供了监控功能。

在架构方面，该解决方案前端采用React，后端通过Step Functions和Glue Job进行文档处理和知识库构建。聊天模块则通过Lambda实现。该方案支持多种大模型，包括Claude系列、DeepSeek R1以及OpenAI兼容的API Provider。最后，该解决方案提供了多种集成方式，包括WebSocket、HTTP SSE、REST API和UI界面。

总的来说，这个基于DeepSeek的企业知识库解决方案旨在提高企业内部知识管理和问答的效率，为企业带来更智能、更高效的知识服务。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出，企业要从“成本优化”转向“创新驱动”，通过完善的数据战略和AI云服务，把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在AI时代突破。