我们考虑在包含不完整知识且覆盖不完整的大规模知识库中执行学习和推理的问题。我们表明，基于知识库图的约束、加权、随机游走组合的软推理程序可用于可靠地推断知识库的新信念。更具体地说，我们展示了系统可以通过使用路径排名算法的一个版本（Lao 和 Cohen，2010b）调整与沿着图中不同路径的随机游走相关的权重来学习推断不同的目标关系。我们将这种方法应用于由 NELL（一个永无止境的语言学习者）从网络中不完美地提取的大约 500,000 个信念的知识库（Carlson 等，2010）。这个新系统比 NELL 早期的 Horn-clause 学习和推理方法有了显着改进：它在 100 级时获得了近一倍的精度，并且新的学习方法也适用于更多的推理任务。

引言

尽管最近有大量关于从文本中提取知识的研究（Agichtein 和 Gravano，2000；Etzioni 等，2005；Snow 等，2006；Pantel 和 Pennacchiotti，2006；Banko 等，2007；Yates 等al., 2007)，在从这种不完全提取的知识中得出可靠推论的问题上取得的进展要少得多。特别是，传统的逻辑推理方法太脆弱，无法用于从自动提取的知识中进行复杂的推理，而概率推理方法 (Richardson and Domingos, 2006) 存在可扩展性问题。本文考虑了构建可以扩展到大知识库并且对不完美知识具有鲁棒性的推理方法的问题。我们考虑的 KB 是一个大的三元组存储，它可以表示为一个带标签的有向图，其中每个实体 x x x 是一个节点，每个二元关系 R ( x , y ) R(x, y) R(x,y) 是 x x x 和 y y y 之间标记为 R R R 的边，以及一元概念 C ( x ) C(x) C(x) 表示为实体 x x x 的节点和概念 C C C 的节点之间标记为“isa”的边。我们提出了一种可训练的推理方法，该方法通过结合不同随机游走的结果来学习推断关系图，并表明该方法在包含超过 500,000 个由 NELL 系统从网络中提取的三元组的知识库中实现了良好的缩放特性和稳健的推理（Carlson 等人，2010 年）。

NELL 案例研究

为了通过实验评估我们的方法，我们在 NELL（永无止境的语言学习）研究项目的背景下进行研究，该项目旨在开发一个多年来每天 24 小时运行的永无止境的学习系统，以不断提高其阅读（从中提取结构化事实）网络的能力（Carlson 等人，2010 年）。 NELL 于 2010 年 1 月开始运营。截至 2011 年 3 月，NELL 已经建立了一个包含数百万个候选信念的知识库，这些信念是从网络中以不同的信心提取的。 其中，NELL对大约50万左右的信心相当高，我们称之为NELL的（自信）信念。 NELL 对数百万其他人的信心较低，我们将其称为候选信念。

NELL 作为输入给出一个本体，该本体定义了数百个类别（例如，人、饮料、运动员、运动）和这些类别之间的两位类型关系（例如， a t h e l e t e P l a y s S p o r t ( < a t h l e t e > , < s p o r t > ) ) atheletePlaysSport(<athlete>, <sport>)) atheletePlaysSport(<athlete>,<sport>))，它必须学习从网络中提取。它还提供了一组 10 到 20 个每个此类和关系的正面种子示例，以及从 ClueWeb2009 语料库（Callan 和 Hoy，2009 年）下载的 5 亿个网页集合作为未标记数据，以及对 100,000 个查询的访问每天访问 Google 的搜索引擎。每天，NELL 有两项任务：(1) 从网络中提取额外的信念，以填充其不断增长的知识库 (KB) 及其本体中的类别和关系的实例，以及 (2) 学习今天比昨天更好地执行任务 1。。我们可以通过允许它今天考虑与昨天相同的文本文档来衡量它的学习能力，并记录它今天是否比昨天更准确地提取了更多信念。

NELL 使用大规模半监督多任务学习算法，该算法将 1500 多种不同分类器的训练和提取方法相结合（参见（Carlson 等，2010））。 尽管 NELL 的学习方法的许多细节不是本文的核心，但应该注意两点。 首先，NELL 是一个多策略学习系统，具有从数据的不同“视图”中学习的组件（Blum 和 Mitchell，1998）：对于

例如，一个视图使用潜在实体名称的正字法特征（例如“包含大写单词”），而另一个视图使用可找到名词短语的自由文本上下文（例如，“X 经常跟随双字词 ‘mayor of’”） . 其次，NELL 是一个引导系统，它会根据其不断增长的自信信念进行自我训练。