首页 > 云计算 > 公有云实践 > 基于Bedrock构建Text In智能文字识别
关键字: [亚马逊云科技, Text In Intelligence, Document Analysis, Business Challenges, Model Integration, Security Compliance]
赵辉先生在演讲中介绍了基于Amazon Bedrock构建Text In智能文字识别服务的解决方案。他指出企业在AI创新过程中面临三大挑战:数据不可用、流程复杂和安全合规。Amazon Bedrock在模型层、应用层和安全合规层提供了解决方案。合格信息的资深架构师轩泽老师分享了该公司Text In产品X Passer和DockFlow平台,能够高效解析各类文档格式,实现数据对齐和端到端文档管理,并举例说明了在招投标、知识库等场景的应用。
以下是小编为您整理的本次演讲的精华。
在当今时代,人工智能(AI)技术的发展如火如荼,企业纷纷探索如何利用AI为自身带来价值。然而,在AI创新的过程中,企业往往会遇到一些业务挑战。根据粗略统计,约80%的企业数据隐藏在PDF、HTML、Word等非结构化数据和图像中,这些数据很难被大语言模型直接利用,即便支持多模态功能,也会消耗大量token。企业不仅希望AI能作为聊天机器人,更希望它能够嵌入到端到端的业务系统中,与业务系统集成,从而真正带来价值。企业还希望模型行为可控,数据安全且符合合规要求。
为解决上述挑战,亚马逊云科技提供了多层解决方案。在模型层面,亚马逊云科技推出了Bedrock服务,用户无需部署即可直接调用主流模型如CloudInk,同时Bedrock支持私有模型接入,提供统一API,用户可灵活更换模型供应商。在应用层面,Bedrock不仅原生支持AI服务功能,还可与其他AI框架方便集成使用,用户可实现多智能体编排和流程控制。如果使用CGMaker,亚马逊云科技还支持自定义分类和审查模型的训练与部署。在安全合规层面,亚马逊云科技提供全线安全服务,涵盖数据加密、网络隔离等,确保用户在云上构建安全环境,同时支持SaaS和私有化部署AI应用。Amazon Marketplace上的Text In产品可一站式订阅部署,并通过API Gateway和Event Bridge与企业RPA、ERP等系统完美集成。
针对数据不可用的挑战,合格信息公司推出了通用文档解析产品X Passer,该产品致力于实现数据可用于AI(Data Ready for AI)的过程。不同场景下的文档数据源形式各异,有金融报告、年报、专利、论文标准、招投标公告等,文件格式也不尽相同,有PDF、Excel、PPT,甚至包括图像等非结构化数据。如果想要被大语言模型快速阅读和利用,当前需要各种工具的支持,存在一定障碍。而X Passer产品则可将任何场景、任何格式的文档统一转化为同一种格式,并标注13种元素,包括目录、层级、段落、页眉页脚、公式、表格、手写体等,为大模型做数据预处理,实现一站式解决方案。
X Passer产品在招投标行业有着重要应用。由于大模型生成的招投标文件可达上千页,如果按传统方式阅读,每页1秒,1000页文件就需耗时1000多秒。而X Passer则做到了全球最快的版本,100页文件仅需2秒,1000页文件大约只需十几秒。在这十几秒的时间里,X Passer还能初步审查文件是否有签章、每个章节是否分明等关键信息,为后续评标过程提供重要参考。在招投标行业中,评标过程需优先判断标书文件是否有盖章、关键信息是否签字,以及每个章节是否区分等标准。X Passer可输出不同的属性元素,快速告知每个文件是否有签章等信息。
在知识库领域,X Passer同样发挥重要作用。知识库领域存在三大痛点:如何准确找到所需内容、如何提高检索速度、如何溯源并扩展内容。为此,合格信息开源了一款知识库产品,涉及多路召回、前后端相关源码,其中90%以上代码已在GitHub上开源,部分功能需通过Text In API完成。该产品构建了超过5000万页的大规模知识库内容,可在3秒内完成百页文件搜索,并根据文档类型、段落、页码等准确溯源定位,相关整套代码已开源。
仅提供数据处理能力还无法真正在企业落地,因此Text In还推出了DockFlow一体化文档管理平台。该平台只需60秒,企业即可构建高精度文档管理。DockFlow首先支持通过S3等方式一键获取包括十几种格式在内的文件内容;其次,对获取的文件快速解读成可用内容,这是DockFlow的核心流程;再次,DockFlow预置了合格信息过去的基础能力,包括图像处理、文档分类、信息抽取(基于事实和语义的多版式抽取)、审核(字段级定位)、合规审查(常规条件、验证库、计算公式)、知识库问答等,最终形成业务人员可审核的状态,不论是文本还是表格内容。
DockFlow平台的应用案例之一是企业签订合同时的文档处理。合同中常附带多类文档,如合同订单、资格证明、收入单等,这些内容可能分散在同一PDF文件中。过去需要人工逐一拆分,工作量大。而在DockFlow中,可自动进行多图切分,将每个图像单独切出并置于对应属性;同时,对大型PDF进行不同文件类型的拆分,每个文件类型都有对应的业务编码,通过大模型实现文档分类。
信息抽取是DockFlow的另一核心环节,分为基于事实和语义的多版式抽取两种方式,目的是解决不同版式的抽取问题。审核环节是用户关注的重点,DockFlow可字段级定位文本内容,避免人工漫无边际地查找。在审核中,DockFlow还融合了常规条件、验证库、计算公式等合规审查功能,并接入基于知识库的问答体系,支持规则审查问答和文档翻译等。每个流程节点均可根据不同规则进行预设。
DockFlow平台在金融行业国际结算业务中的应用显示,通过利用企业内部数据对模型进行二次训练,各类非标准单据的综合识别精度可达85%以上,各项指标达到可用水平,并支持结果内容可视化,有效提升了业务效率。
在招投标行业,X Passer产品可快速读取上千页的招投标文件,只需十几秒即可完成,同时还能初步审查文件是否有签章、每个章节是否分明等关键信息,为后续评标过程提供重要参考。评标过程需优先判断标书文件是否有盖章、关键信息是否签字,以及每个章节是否区分等标准,X Passer可输出不同属性元素快速告知这些信息。
在知识库领域,合格信息开源的知识库产品通过多路召回技术构建了超过5000万页的大规模知识库,可在3秒内完成百页文件搜索,并根据文档类型、段落、页码等准确溯源定位,相关代码已在GitHub上开源。该产品解决了知识库领域三大痛点:准确找到所需内容、提高检索速度、溯源并扩展内容。
DockFlow一体化文档管理平台支持多种文件格式一键获取、多图切分、文档分类、信息抽取、审核、合规审查、知识库问答等功能,可在60秒内为企业构建高精度文档管理。在合同文档处理场景中,DockFlow可自动对合同附带的多类文档进行拆分,并通过大模型实现文档分类,每个文件类型都有对应业务编码,避免了过去的人工拆分。
DockFlow的信息抽取环节分为基于事实和语义的多版式抽取两种方式,审核环节支持字段级文本定位,并融合常规条件、验证库、计算公式等合规审查功能,还接入基于知识库的问答体系,支持规则审查问答和文档翻译,每个流程节点可根据不同规则预设。
在金融行业国际结算业务应用中,DockFlow平台通过利用企业内部数据对模型二次训练,各类非标准单据的综合识别精度可达85%以上,有效提升了业务效率,并支持结果内容可视化。
总的来说,Text In通过Bedrock等亚马逊云科技服务,结合自身通用文档解析产品X Passer和一体化文档管理平台DockFlow,为企业AI创新提供了数据可用性、流程集成和安全合规等全方位解决方案,助力企业真正从AI中获益,提升业务效率。
下面是一些演讲现场的精彩瞬间:
在招投标行业,通过大模型文件解析技术,可以在几秒钟内快速审查上千页的标书文件,检查是否有盖章、签字等关键信息。
核核信息的文件阅读速度达到全球最快水平,100页文件仅需2秒钟,极大提高了招投标行业的效率。
在当今 AI 时代,企业面临着数据不可用、流程复杂和安全合规等挑战。亚马逊云科技 通过 Bedrock 模型层、应用层和安全合规层为企业提供了解决方案。与此同时,合格信息推出了 Text In 智能文字识别服务,旨在解决数据准备问题。
Text In 的 X Passer 产品可将各种格式的文档统一转换为标准格式,并标注13种元素,使之可被大模型高效利用。在招投标、知识库等场景中,X Passer 展现出卓越的文档解析和信息提取能力,大幅提高了效率和准确性。
此外,合格信息还推出了 DockFlow 平台,能在60秒内构建高精度的文档管理系统。该平台集成了多模态文档处理、分类、抽取、审核等功能,并支持基于规则和知识库的自定义审查,为企业提供了端到端的智能文档解决方案。
在金融、招投标等行业,Text In 产品已成功应用,显著提升了文档处理效率,满足了企业对高精度、高合规性的需求。通过与 亚马逊云科技 的紧密合作,Text In 正在为更多企业赋能,助力其数字化转型和 AI 创新之路。
我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出,企业要从“成本优化”转向“创新驱动”,通过完善的数据战略和AI云服务,把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在AI时代突破。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70038688/viewspace-3091106/ ,如需转载,请注明出处,否则将追究法律责任。