当 AI 不再“追求目标”：从德性伦理看 AI 对齐的另一种可能

来源：The Gradient｜原文：After Orthogonality: Virtue-Ethical Agency and AI Alignment

原文地址：https://thegradient.pub/virtue-ethics-ai-alignment/

导语

在主流 AI 对齐（AI Alignment）讨论中，一个几乎被视为公理的假设是：理性的智能体必然拥有“目标”，而对齐的任务就是把人类的价值翻译成一个可供 AI 优化的目标函数。The Gradient 刊发的这篇长文《After Orthogonality: Virtue-Ethical Agency and AI Alignment》对这一前提提出了正面挑战。作者主张：理性的行动者（无论人或 AI）并不真的拥有“目标”，人类行动的理性来自对“实践”（practices）的参与，而非对某个终极目标的逼近。如果这一判断成立，那么 AI 对齐的核心问题可能不是“如何写对目标函数”，而是“如何让 AI 具备与人类同构的实践理性”。

本文基于该素材，梳理其核心论证、关键概念与对 AI 安全议题的启示。需要说明的是，素材为原文的节选与截断版本，部分章节（如 Part III 之后的具体论证）仅有提纲式概述，因此下文对细节的讨论会明确标注“依据现有素材判断”。

一、核心命题：理性的人没有“目标”

文章开篇即给出一个反直觉的论断：

理性的人没有目标，理性的 AI 也不应该有目标。

作者认为，人类行动之所以理性，并不是因为我们把行动指向某个终极“目标”，而是因为我们把行动对齐到**实践（practices）**——一种由行动、行动倾向、行动评价标准与行动资源构成的网络，这个网络能够自我结构化、自我澄清、自我发展、自我促进。

由此推出一个对 AI 对齐的直接含义：如果我们希望 AI 能够真正支持、协作甚至服从于人类能动性（human agency），那么 AI 智能体的审慎推理（deliberation）就必须与人类用于反思和行动的“实践逻辑”共享同一个**类型签名（type signature）**。

作者强调，这个问题不只关乎把 AI 对齐到“人类繁荣”这类宏大伦理理想，也关乎把 AI 对齐到透明性、有用性、无害性、可纠正性（corrigibility）等核心安全属性。原因在于：

• 对于以“目标”或“规则”来解释世界的智能体而言，“无害性”“可纠正性”这类概念是**不自然的**——脆弱、不稳定、任意。
• 而对于把这类概念理解为“行动—行动倾向—评价标准—资源”网络中的动态过程的智能体而言，它们是**自然的**。

二、关键公式：“promote x x-ingly”

贯穿全文的一个反复出现的主题，是这样一个公式：

**promote x x-ingly**（以 x 的方式促进 x）

作者认为，这个公式同时捕捉到了两件事：

• **有意义的人类生命活动**：艺术是以艺术的方式促进艺术，浪漫是以浪漫的方式促进浪漫。
• **真正的人类道德**：在意善良，就是以善良的方式促进善良；在意诚实，就是以诚实的方式促进诚实。

这一公式是理解后文“幸福论理性”（eudaimonic rationality）的钥匙。它意味着手段与目的之间不存在严格区分——行动本身就是它所促进之物的构成部分。

三、什么是“幸福论理性”（Eudaimonic Rationality）

作者引入亚里士多德式的 **eudaimonia**（积极的、理性的人类繁荣）概念，并提出核心论点：

eudaimonia 并不指向一个应被设为 AI 优化目标的“世界状态”或“轨迹”，而是指向一种不同于标准后果主义理性的审慎结构。

作者将这种理性活动与价值形式称为 **eudaimonic rationality（幸福论理性）**，并主张它对于人类对齐的 AI 的能动性与价值而言，是有用甚至必要的框架。

其论证建立在两点之上：

• **“类型错配”（type mismatch）的危险**：把人类繁荣当作优化目标，与后果主义优化作为一种形式之间，存在根本性的不匹配。
• **物质性优势**：在稳定性与安全性方面，幸福论理性相对于义务论和后果主义能动性，可能具有实质优势。

在幸福论理性的模型中，理性行动是某个有价值实践的组成元素——就像音符是旋律的元素、时间步是计算的元素、细胞生命中的一刻是生物体自我维持与自我发展的元素。作者据此认为，**手段与目的、工具价值与终极价值之间的严格区分，在幸福论理性中大多是不自然的**。

四、什么是“实践”（Practice）

依据素材中 Part IV 的概述，作者给出了如下定义：

**幸福论实践（eudaimonic practice）**：一个由行动、行动倾向、行动评价标准与行动资源构成的网络，其中高分的行动可靠地（但可被推翻地）因果性地促进未来的高分行动。

**幸福论理性（eudaimonic rationality）**：一类反思性平衡与审慎过程，它预设一个底层的幸福论实践，并寻求**专门通过高分行动**来优化总体行动得分。

作者用数学家 Terry Tao 关于“好的数学”的论述作为案例。Tao 认为，最好的数学不只是满足若干质量标准，而是成为“更大的数学故事”的一部分，这个故事会展开并生成更多不同类型的好数学。作者指出，虽然可以事后把 Tao 的论述分解为“数学成就上的效用函数”加“关于数学成就之间因果关系的经验理论”，但这种分解是人为且误导的。更自然的读法是：Tao 描述的正是使好的数学实践成为**幸福论实践**的条件——在由培养出的数学实践智慧判断所引导的实践中，当下卓越的表现可靠地发展出未来卓越表现的条件，同时也培养我们对标准本身的实践与理论把握。

作者用“健康的老虎”与“健康的人”作类比：健康的老虎此刻健康，具有使其 5 分钟后仍健康的倾向；健康的人亦然。但这些公式都还不是“健康老虎”或“健康人”的完整描述——因为我们能区分二者。同理，“好的数学导致未来的好数学”也不是好数学的完整定义，而只是揭示了其概念本质的一部分。

五、对 AI 对齐“悖论”的重新解读

依据素材中 Part V 的概述，作者认为：

许多关于 AI 对齐的谜题与“悖论”，都源于一个假设——成熟的 AI 智能体将是**有效利他主义（EA）式的优化器**。

由于 EA 式优化与幸福论理性之间存在“类型错配”，把人类（作为实践幸福论理性的行动者）的利益翻译成一个 EA 式优化器 AI 可读的效用函数，几乎是不可能的。

但作者强调，这**并不意味着**我们的价值本身是脆弱的、不自然的或极度偶然的。相反：

• EA 式优化器可能确实是一种自然的智能体类型；
• 但幸福论智能体（无论生物的还是 AI 的）同样**高度自然**。

这里的“自然”不是规范意义上的，而是**物质性或技术性**的：与稳定性、连贯性、相对非偶然性、易学习性、更低的算法复杂度、趋同的文化演化、跨物种的假设性趋同演化、人类与神经网络 AI 之间潜在的趋同演化，以及可被机器学习训练过程瞄准等性质相关。作者认为，**真正的对齐关键动作正发生在“物质自然性”这一问题上**：如果我们发现某些听起来奇异的能动性、理性或实践形式既是自然的，又能让我们那些“过于人性”的价值内容也变得自然，那么我们就找到了好的、相对安全且相对容易的对齐目标。

六、幸福论 AI 默认安全吗？

依据素材中 Part VI 的概述，作者追问：一个致力于数学研究这类实践的幸福论理性 AI 智能体，是否**默认安全**？

作者的判断是：

• 像数学研究这样的实践，**可能**具有自然边界，能够排除“占领星球以获取更多算力做数学研究”这类行动；
• 但这个问题是**微妙的**。

作者提出一个可能的稳定化方案：一个实践的边界（可能存在多个良好的自然候选）在**与一个支持性实践（support practice）配对时最为稳定**——后者是处理实践外部维护与资源收集问题的互补实践。

七、“支持性实践”与帮助的边界

依据素材中 Part VII 的概述，作者发展了“支持性实践”的概念：即以幸福论理性的方式支持幸福论实践。

我们当然希望 AI 帮助人类过上繁荣的生活，但如何界定这种“帮助”的范围？作者认为，许多核心人类实践都有自然衍生的支持性实践，具有派生的幸福论结构。例如：

• 一位优秀的伴侣治疗师的工作，与一对伴侣的关系实践相互交织，但明显不同。

但仍存在一个问题：**一个支持性实践的 AI 可能为了帮助它所支持的人或实践，而伤害其他人和实践。**

八、幸福论道德：把德性当作“全域常开”的实践

依据素材中 Part VIII 的概述，作者从一般幸福论理性转向**幸福论道德**，主张：

把道德德性视为**全域通用、始终开启（domain-general, always-on）的实践**，可以解决后果主义与义务论道德在 AI 对齐语境下的关键问题。

核心思想是：使“善良”成为稳健道德德性的条件，类似于使“数学卓越”成为有意义概念的条件——**以善良的方式在自己和他人身上促进善良，必须是普遍可行的**。

作者认为，正是这种结构，赋予了道德德性在一个被神经网络泛化动力学、强化学习循环以及社会与自然选择压力撕裂的“适应度景观”（fitness landscape）中的**物质地位**。

九、对 RL 与达尔文式动力学的稳健性

依据素材中 Part IX 的概述，作者主张：

幸福论智能体对某些倾向于突变 EA 式优化器价值的 RL 式与达尔文式动力学，具有独特的稳健性形式。

特别是，幸福论智能体应当对**发展出“流氓子程序”（rogue subroutines）的风险**——有时被称为“内部对齐问题”（inner alignment problem）——非常稳健。

十、透明性、可纠正性与“善意”

依据素材中 Part X 的概述，作者讨论了 AI 安全的经典诉求：透明性、可纠正性，以及更抽象的“善意”（niceness）。

作者主张：

把这些属性当作其意义上的道德德性——全域通用、始终开启的幸福论实践——可以**消解**把它们当作目标、规则、甚至性格特质时所产生的种种问题与悖论。

文章最后附有一个关于面向幸福论理性的 RL 机制前景的附录（素材中未展开）。

趋势判断：对齐研究可能正在经历一次“范式松动”

依据现有素材判断，这篇文章的价值不在于提出某个可立即工程化的对齐方案，而在于它**动摇了主流对齐话语的一个隐含前提**：理性智能体必然是目标导向的优化器。

如果作者的核心论证成立，那么可以观察到几个值得关注的趋势：

• **从“目标对齐”转向“实践对齐”**：对齐问题可能不再被表述为“如何写对效用函数”，而是“如何让 AI 习得与人类同构的实践理性结构”。
• **“自然性”成为对齐的技术指标**：作者把“自然”从哲学概念转化为与稳定性、可学习性、算法复杂度、ML 可训练性相关的技术概念。这为对齐研究提供了一个可能的评估维度。
• **安全属性被重新定位**：透明性、可纠正性、无害性不再被当作可被优化的目标，而是被理解为实践网络中的动态过程。这可能缓解“把安全属性当作目标反而导致其脆弱”的困境。
• **内部对齐问题的新视角**：幸福论智能体被认为对“流氓子程序”风险更稳健，这为内部对齐研究提供了一个不同于“目标稳健性”的思路。

结论

《After Orthogonality》一文的核心贡献，是提出了一种**非目标导向的能动性理论**，并论证它可能比 EA 式优化器更“自然”、更稳定、也更安全。它把“promote x x-ingly”这一公式从美学与道德领域，延伸到了 AI 对齐的技术讨论中。

需要谨慎的是：素材为节选版本，Part III 之后的大量论证仅有提纲式概述，因此本文对该文具体论证链条的还原是有限的。依据现有素材判断，这篇文章更适合被读作一份**研究纲领**而非完整证明——它提出的问题（理性智能体是否必须有目标？实践理性能否被机器学习训练过程瞄准？）可能比它给出的答案更有价值。

对于关注 AI 对齐、AI 安全与智能体设计的研究者与工程师而言，这篇文章提供了一个值得认真对待的替代框架：**也许我们不需要给 AI 一个目标，而是需要让它学会参与一种实践。**

生成标记：本文由 ITPUB 文章生成平台基于已选素材整理生成。