导读

加入DataStax、NVIDIA和Wikimedia，了解如何将AI开发时间缩短多达60%。听听两位开发者是如何在短短三天内完成对世界上最大、最复杂的数据集之一的摄取、分块和向量化，这比其他解决方案更快。探索Langflow、Amazon Bedrock、Amazon Q、亚马逊云科技 Graviton以及基于NVIDIA AI构建的DataStax AI平台等技术。本次演示由亚马逊云科技合作伙伴DataStax为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

在2024年亚马逊云科技 re:Invent大会上，一场引人入胜的小组讨论揭示了维基媒体将其Wikidata知识图谱投入生产的非凡历程。由DataStax首席产品官Ed主持，小组邀请了来自Wikimedia Deutschland的Lydia Pintscher、Wikimedia Deutschland人工智能团队的Philippe以及NVIDIA企业人工智能产品组的Eric Pounds等嘉宾。

Lydia Pintscher是Wikidata项目的资深人士，该项目已运行12.5年。她向观众生动介绍了Wikidata的本质，将其描述为一个以机器可读格式存储世界数据的知识图谱，涵盖300多种语言。Pintscher强调，Wikidata的非凡之处在于由超过24，000名个人贡献者组成的社区维护，每天有数十万次编辑，使其成为一个极其活跃的数据集。

Wikimedia Deutschland人工智能项目经理Philippe深入探讨了这种动态环境带来的挑战。保持向量数据库与不断编辑的同步是一项艰巨任务。最初将1000万个实体嵌入需要长达30天，但通过DataStax平台的强大功能，他们将时间缩短至仅3天，使项目变得可行。这一处理时间的显著改善得益于DataStax解决方案的高效和可扩展性。

来自NVIDIA企业人工智能产品组的Eric Pounds阐述了加速计算架构在处理如此庞大且动态的数据集方面的关键作用。他解释了NVIDIA专注于通过全栈创新加速计算密集型工作负载，包括在操作系统、网络和应用层面的优化。这种整体方法使用户能够充分利用加速计算的潜力，开启新的可能性并降低成本。

小组深入探讨了Wikidata的数据管道和摄取过程的细节。Philippe详细描述了将知识图谱数据转换为适合嵌入模型的文本表示的挑战。这一过程需要将标签、描述和别名与声明(与其他实体或值的连接)分离，以确保与嵌入模型约束的兼容性。目前Wikidata包含约1.14亿个实体，转换过程是一项重大工程。

Lydia Pintscher强调向世界提供可靠和值得信赖的信息是维基媒体使命的核心。Wikidata中的数据都有参考资料作为支撑，使开发人员能够追溯信息来源，从而在应用程序中培养信任。这种对透明度和准确性的坚持是维基媒体努力的标志。

小组探讨了向量数据库的无数潜在用例，包括生成式人工智能应用程序和用于查询Wikidata的自然语言界面。Lydia分享了利用大型语言模型支持编辑工作和简化编写SPARQL查询(用于查询Wikidata的图形查询语言)的实例。其中一个例子是斯坦福大学的一个团队使用大型语言模型将自然语言问题转换为SPARQL查询，使编辑人员更容易访问和查询数据。

另一个用例是Wikidata的一位技术编辑开发了一个系统，利用大型语言模型分析贡献者对Wikidata所做的更改。目的是确定某一贡献是否可能是一个好的补充，或者是否应该由另一位编辑审查并可能撤销。这种大型语言模型的创新应用旨在支持Wikidata上的人工工作，确保知识图谱的质量和准确性。

Eric Pounds强调加速计算在降低成本和通过前所未有的速度处理数据方面的变革价值。他指出，加速计算不仅可以带来30%或50%的增量改进，而是可以实现5倍、10倍甚至100倍的加速。这种指数级加速使组织能够应对以前无法解决的挑战，并在项目预算内运营。

Pounds还阐述了从图像、视频和科学数据等各种数据格式中提取知识并输入到这些新数据库的潜力。这种多方位的方法有望释放各种数据源中蕴含的丰富知识，使组织能够充分利用其数据资产。

小组巧妙地回答了观众的提问，阐明了诸如数据主权问题和管道中重排器的使用等关键考虑因素。Philippe解释了重排器在提高检索项目的准确性方面的作用，通过对其与查询的相关性进行评分，以补充向量数据库的速度。这种协同方法确保了知识检索的效率和精度。

在结束语中，小组成员为那些着手进行大规模知识检索或检索增强生成(RAG)项目的人提供了宝贵建议:

Lydia Pintscher鼓励探索Wikidata中已有的大量数据，作为构建应用程序的基础。她强调Wikidata蕴含的丰富知识，可以成为创新解决方案的起点。

Philippe强调在启动人工智能项目之前，明确最终目标的重要性。如果没有明确的目标，努力可能会走向歧途，项目的成功也可能受到影响。他倡导采取战略性方法，让期望的结果指导项目从一开始就朝着正确的轨迹前进。

Eric Pounds借鉴NVIDIA丰富的经验，鼓励采取实践学习的方式。他建议直接投身于项目，利用公共和专有数据来释放其中蕴含的知识。通过实践经验，组织可以获得宝贵的见解，完善方法，并最终充分利用数据的潜力。

在2024年亚马逊云科技 re:Invent大会上的小组讨论，阐明了维基媒体、DataStax和NVIDIA为将Wikidata知识图谱投入人工智能应用程序生产所做的开创性工作。通过实现对大量知识的实时访问，这一合作有望开启知识检索和生成的新前景，使开发人员和组织能够发挥数据和加速计算的变革力量。

小组成员讲述的维基媒体历程，为那些希望开启自己的知识检索和人工智能之旅的人树立了一个鼓舞人心的典范。通过尖端技术、协作努力以及对准确性和可及性的坚定承诺的融合，这个开创性项目彰显了利用知识造福社会的无限潜力。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。