IBM 的新开源工具包 Docling 使开发者能够更轻松地将 PDF、手册和幻灯片转换为专用数据，用于定制企业 AI 模型，并使其基于可信信息。
当今的基础模型几乎是在互联网上所有可公开获取的信息碎片上训练的——文本、图像和视频。但对企业而言，许多有价值的数据却被封存在 PDF、年度报告、幻灯片和其他复杂业务文档中。
Docling 是 IBM 的新开源工具包，旨在更轻松地为生成式 AI 应用挖掘这些信息。该工具包简化了将非结构化文档转换为 JSON 和 Markdown 文件的流程，使大语言模型（LLM（大语言模型））和其他基础模型更易于消化。一旦数据变为机器可读，就可以用于训练和定制面向企业任务的 AI 模型和 AI 智能体，并通过检索增强生成（RAG（检索增强生成））使其基于最新、最准确的事实。
Docling 提供命令行界面、Python API（应用程序编程接口），并且足够小，可以在标准笔记本电脑上运行。只需五行代码即可完成设置，并且可与 LlamaIndex 和 LangChain 等开源 LLM 框架无缝集成，用于 RAG 和问答应用。其宽松的开源 MIT 许可证允许开发者协作并扩展项目以满足自身需求。
自 7 月开源以来，Docling 在 GitHub 上已获得超过 8,000 颗星，并在互联网各社交论坛上广受赞誉。“输出质量是所有开源解决方案中最好的，”一位开发者最近在 Reddit 上写道。
超越 OCR，实现高效文档转换
传统上，开发者依赖光学字符识别（OCR）来数字化文档。由于计算处理繁重，这项技术可能容易出错且速度缓慢。Docling 在可能的情况下会避开 OCR，转而采用经过训练、能够识别并分类页面视觉元素的计算机视觉模型。
“避免 OCR 可以减少错误，还能将解决方案交付时间加快 30 倍，”参与构建 Docling 的 IBM 研究员 Peter Staar 说。
Docling 构建在 IBM 研究人员设计的两个模型之上。一个是视觉模型，它使用目标检测技术来剖析文档页面布局，这些文档范围广泛，从机器操作手册到年度报告。接下来，它会识别并分类文本块、图像、表格、标题说明和其他元素。研究人员在该模型发布时报告称，IBM 的模型在来自专利、手册和 10-K 文件的近 81,000 个手动标注页面上训练后，在正确识别脚注、标题和其他页面元素方面，与人类能力的差距缩小到五个百分点以内。
第二个模型 TableFormer 旨在将基于图像的表格转换为具有行列单元格的机器可读格式。表格是丰富的信息来源，但由于许多表格深埋在纸质报告中，历史上机器一直难以解析。TableFormer 是为 IBM 早期的 DeepSearch 项目开发的，用于挖掘这些数据。在内部测试中，TableFormer 的表现优于领先的表格识别工具。
IBM 和 Red Hat 的 InstructLab 项目背后的研究团队使用 Docling 从目标 PDF 中提取大量信息，以训练 InstructLab 的底层 AI 模型。
它还被用于处理来自 Common Crawl 的 210 万个 PDF，将原始互联网数据转换为有用的 AI 训练数据。在不久的将来，团队计划使用 Docling 处理 18 亿个 PDF，并将提取的数据集成到即将推出的 IBM Granite 多模态模型中。
此外，Docling 是 Watson Document Understanding 的一部分，为包括 watsonx.ai 在内的多款 IBM 软件产品做出了贡献。
下一步计划
研究人员计划扩展 Docling 的能力，使其能够处理更复杂的数据类型，包括数学公式、图表和商业表单。
他们的总体目标是释放企业数据在 AI 应用中的全部潜力，从分析法律文件到将 LLM 响应基于企业政策文件，再到从技术手册中提取洞察。
本月晚些时候，Red Hat 预计将把 Docling 集成到其 RHEL AI 操作系统中，就像今年早些时候对 InstructLab 所做的那样，使企业能够基于自己的数据对 AI 模型进行微调。
“在与客户合作时，我们遇到的最大障碍是准备他们的专有数据以供 InstructLab 使用，”IBM 研究员兼 RedHat 首席 AI 产品顾问 Akash Srivastava 说道，他共同开发了 InstructLab 的底层技术。“目前市面上没有达到 Docling 水准的开源工具。大量创新研究投入到了解决如何让教科书和 PDF 中的知识可供 LLM 和 RAG 使用这一问题中。”
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：IBM Research Blog
原文作者：Kim Martineau；如有侵权，请联系管理员删除。
