来源：The Gradient｜原文：Virtue Ethics and AI Alignment｜作者：The Gradient 特约撰稿人

导语

当前AI对齐研究的主流范式，几乎默认了一个前提：一个成熟的AI智能体应当是一个目标导向的优化器——它拥有某种效用函数，并通过行动最大化该函数。无论是“最大化人类繁荣”还是“最小化伤害”，都被表述为可优化的目标。

但The Gradient刊发的一篇长文提出了一个反直觉的论点：理性的行动者并不真正拥有“目标”，理性的AI也不应该有。 人类行动的合理性，并非因为我们把行动指向某个终极目标，而是因为我们将行动对齐到“实践”（practices）——由行动、行动倾向、行动评价标准和行动资源构成的网络，这个网络能够自我结构化、自我澄清、自我发展和自我促进。

这篇文章的核心主张是：如果我们希望AI能够真正支持、协作甚至服从于人类能动性，那么AI智能体的 deliberation 必须与我们所使用的、基于实践的理性逻辑共享同一个“类型签名”（type signature）。

一、问题的起点：人类繁荣不是一个优化目标

文章从一个看似简单的问题出发：如果我们认真对待“eudaimonia”（积极的、理性的人类繁荣）这一概念，它对AI对齐意味着什么？

主流对齐话语通常将“人类繁荣”视为一个期望的世界状态或轨迹，然后将其设定为AI的优化目标。但作者认为，eudaimonia指向的是一种不同于标准后果主义理性的审议结构。在这种结构中，手段与目的之间、工具价值与终极价值之间，并不存在严格的区分。

作者用了一个类比：一个理性的行动是某个有价值实践的要素，就像音符是旋律的要素、时间步是计算的要素、细胞生命中的某一刻是生物体自我维持与自我发展的要素。

这意味着，如果我们把“人类繁荣”当作一个优化目标交给后果主义式的优化器，就会出现类型不匹配（type mismatch）——不是目标本身有问题，而是目标的“形式”与智能体的“形式”不兼容。

二、什么是“实践”？以数学为例

为了不让“人类繁荣”停留在抽象层面，文章聚焦于一些具体的eudaimonic实践：数学、艺术、工艺、友谊、体育、浪漫、游戏、技术。

从后果主义视角看，这些实践都带有极端的模糊性——什么是工具性的、什么是终极性的，几乎无法清晰界定。作者引用了陶哲轩（Terry Tao）关于“好的数学”的论述：

“最好的数学例子不仅仅满足一个或多个数学质量标准，更重要的是它们是一个更宏大的数学故事的一部分，这个故事随后会展开，生成许多不同类型的好数学……似乎存在某种不可定义的感觉，即某块数学‘正在接近某种东西’，它是一个等待被进一步探索的更大拼图的一部分。”

作者认为，试图把陶哲轩的描述事后分解为“效用函数+因果理论”是人为且误导的。更自然的解读是：陶哲轩描述的是使好的数学实践成为eudaimonic实践的条件——在一种被培养的数学实践智慧判断的引导下，当前卓越的表现可靠地发展出未来卓越表现的条件，同时也培养我们对标准本身的实践与理论把握。

作者强调，这并非说“好的数学导致未来的好数学”就是好数学的完整定义。他的主张是：好的数学具有导致未来好数学的倾向，这一事实揭示了我们“好数学”概念的某些本质——以及使这一概念得以成立的材料性条件。

三、手段与目的的消解：eudaimonic行动者的价值反思

文章进一步论证：对于eudaimonic行动者（比如一个试图做卓越数学的数学家），工具善与终极善（内在善）之间的区分大多是不自然的。

这导致价值反思的方式与有效利他主义（EA）风格的行动者截然不同：

• EA风格行动者：试图将因果交织的表观价值网络还原为一个最小的内在价值基础，将其余价值作为工具性价值“解释掉”。
• Eudaimonic行动者：在表观价值网络中寻找类似生物体的因果连贯性。

作者将eudaimonic实践定义为：一个由行动、行动倾向、行动评价标准和行动资源构成的网络，其中高分的行动可靠地（但可被击败地）因果促进未来的高分行动。Eudaimonic理性则是一类反思平衡与审议过程，它假定一个底层的eudaimonic实践，并寻求通过高分行动来优化总体行动分数。

四、AI对齐的“悖论”从何而来

文章第五部分提出了一个关键诊断：许多关于AI对齐的谜题和“悖论”，都源于一个假设——成熟的AI智能体将是EA风格的优化器。

由于EA风格优化与eudaimonic理性之间的类型不匹配，将人类（作为eudaimonic行动者）的利益翻译成一个EA风格优化器AI可读的效用函数，几乎是不可能的。

但这并不意味着我们的价值本身是脆弱的、不自然的或极度偶然的。作者认为：EA风格优化器可能确实是一种自然的智能体类型，但eudaimonic智能体（无论是生物的还是AI的）同样高度自然。

这里的“自然”不是规范意义上的，而是材料性或技术性的：与稳定性、连贯性、相对非偶然性、可学习性、较低算法复杂度、趋同文化演化、人类与神经网络AI之间潜在的趋同演化，以及ML训练过程的可靶向性相关。

作者强调，这种材料自然性才是对齐关键行动真正发生的地方：如果我们了解到某些听起来奇异的智能体、理性或实践形式既是自然的，又能使我们那些过于人类的价值内容变得自然，那么我们就了解了好的、相对安全的、相对容易的对齐目标。

五、eudaimonic AI默认安全吗？

第六部分提出了一个具体问题：一个致力于数学研究这类实践的eudaimonically rational AI智能体，是否默认安全？

作者认为，像数学研究这样的实践，很可能具有自然边界，排除了“占领星球以获取更多算力做数学研究”这类行动。但问题很微妙。他提出：一个实践的边界（可能存在多个好的自然候选）在与一个支持性实践（support practice）配对时可能最为稳定——支持性实践是一种互补实践，用于处理实践外部的问题，如维护和资源收集。

第七部分进一步发展了“支持性实践”的概念。我们当然希望AI智能体帮助人类过上繁荣的生活，但如何定义这种“帮助”的范围？作者认为，许多核心人类实践都有自然支持性实践，具有派生的eudaimonic结构。例如，一个好的伴侣治疗师的工作与一对伴侣的关系实践相互交织，但明显不同。

然而，仍然存在一个问题：一个支持性实践AI可能会为了帮助它所支持的人或实践而伤害其他人和实践。

六、道德德性作为领域通用的实践

第八部分从eudaimonic理性转向eudaimonically rational道德。作者认为，将道德德性视为领域通用的、始终在线的实践，可以解决后果主义和义务论道德在AI对齐语境下的关键问题。

核心思想是：使“善良”成为稳健道德德性的条件，类似于使“数学卓越”成为有意义概念的条件——必须普遍可行地以善良的方式在自己和他人身上促进善良。

作者认为，正是这种结构赋予了道德德性在“适应度景观”中的材料性地位，这个景观受到神经网络泛化动力学、强化学习循环以及社会与自然选择的压力。

七、对RL和达尔文式动力学的稳健性

第九部分论证：eudaimonic智能体对RL式和达尔文式动力学具有某些独特形式的稳健性，这些动力学倾向于突变EA风格优化器的价值。特别是，eudaimonic智能体应该对发展出“流氓子程序”的风险（有时称为“内对齐问题”）非常稳健。

第十部分讨论了经典的AI安全 desiderata，如透明性、可纠正性和（更抽象地）友善性。作者认为，将这些属性视为他意义上的道德德性——领域通用的、始终在线的eudaimonic实践——可以消解将它们视为目标、规则甚至性格特征时产生的问题和悖论。

文章最后附有一个关于面向eudaimonic理性的RL机制前景的附录。

趋势判断：对齐研究可能需要一次“类型转向”

这篇文章的价值不在于提供一个可立即工程化的对齐方案，而在于指出一个被主流话语遮蔽的维度：对齐不仅是“对齐到什么”的问题，更是“以什么形式对齐”的问题。

如果作者的核心论证成立，那么当前大量关于效用函数设计、奖励建模、目标稳健性的讨论，可能都建立在一个有问题的假设之上——即AI智能体必然是某种形式的优化器。而人类繁荣的实践结构，可能根本无法被完整地翻译成优化器的语言。

这并不意味着EA风格优化器研究没有价值，而是提示我们：eudaimonic理性可能是一个被低估的对齐目标，因为它既自然（可学习、稳定、低算法复杂度），又能使人类价值的内容变得自然。

当然，这篇文章是哲学论证而非工程方案。从“eudaimonic理性是自然的”到“我们可以训练出eudaimonic AI”，中间还有巨大的鸿沟。作者在附录中讨论了RL机制的前景，但依据现有素材判断，这仍是一个开放的研究方向。

结论

The Gradient这篇文章提出了一个值得对齐研究社区认真对待的论点：理性的AI不应该有目标，而应该参与实践。人类繁荣不是某个可以被最大化的状态，而是一种“以x的方式促进x”的实践结构——艺术是艺术的艺术性促进，浪漫是浪漫的浪漫性促进，善良是以善良的方式促进善良。

如果这一框架成立，那么AI对齐的核心挑战可能不是“如何把人类价值编码成效用函数”，而是“如何让AI智能体与我们共享同一种审议结构”。这是一个远比技术问题更根本的问题，也是一个哲学、认知科学与机器学习必须共同回答的问题。

生成标记：本文由 ITPUB 文章生成平台基于已选素材整理生成。