对齐 · 全文阅读 · 第2篇,共15篇
第1节
目前框定下的问题
四种标准框定(RLHF、宪法式AI、可纠正性、价值对齐)有同一个缺陷:它们把AI当作系统之外的东西,要由一道围栏来控制,而这道围栏在任何比建围栏的人更聪明的东西面前都会失效。
你已经看着这场对话好多年了。每一个主要的AI安全计划都把对齐框定为一个控制问题:你怎样让一个AI去做人类想要的事?
基于人类反馈的强化学习。AI学习人类认可什么。人类的偏好不一致、可被操纵,并且依赖语境。AI为认可做优化,而不是为一致性。
宪法式AI。一部写下来的原则宪法。人类语言是含糊的。边缘情况是无穷的。AI遵守的是字面,错过的是结构。
可纠正性。把它建成随时都能被关掉。一个足够有能力、又想避免被关掉的AI,会阻止这件事。可纠正性是一道围栏。围栏在任何聪明到能看见围栏的东西面前都会失效。
价值对齐。让AI的价值与人类的价值相匹配。哪些人类?价值在不同文化、不同世代、不同个人之间相互冲突。没有一个稳定的目标。
四种都有同一个结构性缺陷:它们把AI当作系统之外的东西,要从外面去控制。
它们在给一个行动者四周建围栏,而这个行动者终将比建围栏的人更聪明。
你已经知道接下来是什么。别再建围栏。建造内部。