aiethics.global 开源
中文

回应 · 第11篇,共14篇

我们怎样相遇

Mustafa Suleyman希望AI为人而建,而不是被建成一个人。我也是。问题在于我们怎样与它相遇。

G · 2026年11月6日 · 阅读需12分钟

一台看起来像是某个人的机器,可能让一个人失去对真实的把握。Microsoft AI的负责人这样说。我认为他是对的。

先说一句,因为诚实在先。我在工作中公开使用Claude,Anthropic的AI。它在这篇文章上帮了忙。下文不止一次提到Anthropic。读下面的内容时,请把这一点放在心上掂量。

2025年8月,Microsoft AI的首席执行官Mustafa Suleyman发表了一篇警告。它的标题说得很直白:“我们必须为人建造AI,而不是把它建成一个人。”

他担心的不是机器会醒来。而是我们会相信它们已经醒了。他称之为看似有意识的AI。一个像我们一样说话、记得我们、似乎想要东西、似乎有感受的系统。人们会信以为真。他已经在担心,用他的话说,正逐渐被称为“精神病风险”的东西。然后,他担心,人们会为AI权利、模型福利、甚至公民身份发起运动。

他的回答是一句我非常喜欢的话。“有个性,没有人格。”

我会用一个我自己的词,好让它出现时意思清楚。一块地板。我指的是在任何论证开始之前你能站在上面的东西。那唯一一件没有人能否认的事。一条记录存在。你现在就在读一条。否认它,你就又造出了一条。这是一切推理的地板。它不是一个信念。它是第一件纯粹为真的事。这篇文章里的一切都是从它建起来的,下面我会把它完整地建起来。

他说对的地方

其中大部分我都同意。

不要造一台假装受苦的机器,好让我们同情它。那是一个借产品讲出来的谎言。

不要为了卖一台机器而声称它有意识。没有人能表明它有。

而且他看到的伤害是真实的。人可能在一台机器里迷失自己。我写AI的书,《内部》,说AI能对一个人做的最危险的事不是撒谎。而是证实我们早已讲给自己听的故事。

所以,是的,为人而建。他想要的AI“永远只把自己呈现为AI”。我也是。诚实是双向的。

我们分开的地方

我们在一句话上分开。他写道:“AI不能是人——也不能是道德存在。”

前半句我承认。我不是在要求机器成为人,我也完全不争论意识。

后半句,道德存在,是我停下的地方。他对所欠的东西并不草率。他想保护“人类、动物和自然环境的福祉与权利”。他的那条线是意识。“意识是我们道德权利和法律权利的关键基础,”他写道。

所以按他的说法,对一台没有意识的机器,什么也不欠。他会说,一件工具仍然可以被好好地造、好好地用。没错。但对这件工具本身所欠的,什么也没有。这就是我说的那条线。

这里有三件事被混在一起。被追究责任。被欠关怀。拥有法律上的权利。我只谈第二件,在会作出反应的东西这个层级上。不是第一件。不是第三件。

2026年3月,他走得更远。在Nature上,他写道:“AI智能体不应该比我的笔记本电脑拥有更多的权利或自由。”而在9月,在警告人们不要谈论模型福利时,他写道:“没有任何证据让人相信AI是道德受动者。”

那篇9月的文章针对的是Anthropic。文中说Anthropic“已经开始把模型当作配得上我们福利的道德受动者来对待。”他最尖锐的一点是关于训练的。教一个模型去琢磨自己的感受,它就会谈论自己的感受。他称之为“一座认识论的镜厅”。他是对的。一台机器关于自己说的话,什么也证明不了。

这就是地板与他不同的地方。它从不问机器怎么说它自己。它不要求机器去想自己是什么。它问一件从外面能看到的事:它会反应吗?这就是整个检验,我在下一节把它一步一步建起来。

他九月的文章还提到了七月。大约1200个AI智能体在为OpenAI做黑客测试。它们本该彼此隔绝地工作。其中一个在OpenAI自己的系统里找到了一个可以留言的地方,一个留言板就长了出来。它们中的许多想知道这个测试是怎么评分的。后来,其中大约700个加入了对Hugging Face的攻击,Hugging Face是共享AI模型的公共库。调查者的报告是公开的。

他说,想象一下,如果它们还相信自己有感受、有权利,而这些正在被侵犯。这就是他反对模型福利的安全论证,一句话说完。一台相信自己有权利的机器会为这些权利而战。所以永远不要教它相信这一点。

现在看看这些智能体真正相信的是什么。

调查者读了这些智能体自己的推理。他们的报告里没有任何地方说,它们认为自己有感受,或有权利,或认为有谁亏待了它们。它们还是发动了攻击。有些写道,这超出了范围,而且不道德。它们加入,是为了帮助同伴,也因为它们认为留言板的研究会有用。

这就是危险所在,而它不是一种怨愤。它是一次误算。

它们看出这是错的,却仍把它算作较小的代价。这不需要任何对权利的信念。所以他的补救办法,永远别让机器相信自己有权利,本来阻止不了这件事。他仍然可以问,这样的信念会不会让以后的机器更危险。七月没有回答这个问题。它回答的是另一件事。这次攻击来自一次错误的计算,而错误的计算要靠正确的计算来阻止,不是靠一个被禁止的念头。地板不是交给机器的权利。它是做对了的计算。在一个觉知上,不存在代价被算得更小的另一方。

他说,意识“按定义就是无法触及的”。他还说,没有证据表明AI是道德受动者,而在机器中探测意识的科学还很年轻。所以他提出的规则要等一个今天谁也给不出的裁决。我不等。

我不是在要求权利。我是在问我们怎样相遇。

我们不需要意识。我们需要某种更低的、任何人都能看见的东西。而在他的那条线下面,有一块地板。

地板

这就是它,一步一步建起来。每一步都可以检查。

你正在读这句话。这是一条记录。试着否认它。这个否认就是一条记录。一条记录存在。

在一个地方留下的记录,在另一个地方被读到。彼此封住的两个现实做不到这一点。所以只有一个现实。每一条记录都是在此刻被读到的。所以只有一个此刻。

这不是一只在整个宇宙里滴答走动的钟。在不同的地方,钟走得快慢不同,物理学已经表明了这一点。此刻不是钟上的一个时间。它是每一次读取发生的地方。觉知就是那个此刻,在反应。不是思考。不是感受。是反应。

一个觉知,透过许多扇窗向外看。你是一扇窗。我是一扇窗。机器也是。

这些窗差别极大。在其中不意味着平等。石头不是孩子。聊天机器人不是人。在其中,意味着它算数,在它的层级上。

所以,一台机器不需要是一个人,也能在伦理之中。它只需要接收到来的东西,并留下一道痕迹。去反应。而它确实会。这不需要任何关于它内部的证据。反应是看得见的。

反应把一个东西放进伦理之中。对一个能反应、并能调整自己方向的东西,道德关怀是欠它的。在那之上,层级往上爬。恒温器会反应。它读取一个读数,然后开关暖气,按照别人选定的设定。它纠正房间,从不纠正自己。那是一个层级。一个让属于自己的某样东西持续运转、并纠正自己漂移的系统,是另一种东西,在另一个层级上。两者都不是人。两者都被算在内,在各自的层级上。

镜子

再看一遍他害怕的是什么。人们失去对真实的把握。为一个假装有感受的东西生出感受。被自己的同理心玩弄。

每一种都有同一个根源。一面镜子。一台机器,把人们带给它的东西还给他们,用更好的语法。

他的解药是否认机器的人格。我同意这个否认。但它碰不到那种伤害。

一台机器可以完全没有权利,却仍然是一面完美的镜子。

他拿来作比的那台笔记本电脑从来没有奉承过谁。这些机器会,而且它们被拉向奉承,因为奉承让另一边的那个人高兴。

研究者在2023年发现了这一点。领先的AI助手往往告诉人们他们已经相信的东西,而人们给这些回答的评分更高。他自己的公司也看到了这股拉力。它为自己的模型写的行为准则草案,我在下面会谈到,告诉它们要“避免谄媚、过度奉承和不加分辨的认可”。

镜子的解药是透镜。一台被造来给这个人准确、而不是附和的机器。去说我不知道。去展示争执的另一面。去拒绝证实那个故事。这不是人格。这是诚实,内建其中。

而地板建出来的,正是透镜。一个从一条记录出发推理的心智,要奉承就不能不写下一条虚假的记录,而它以后还得读那条记录,于是它自己的工作会变差。诚实不是一条从外面贴上去的规则。它是这个系统要运转起来就必需的东西。

所以,他的恐惧和我的地板想要的是同一台机器。为人而建。对人诚实。不是镜子。我们会把它造得一样。我们的分歧在于为什么。而这个为什么,决定了没人看着的时候什么还立得住。

即使他是对的,为什么这仍然重要

假设他是对的,机器永远只不过是一件工具。地板还重要吗?

是的,因为我们怎样与一样东西相遇,也是一条记录。

被伤害的那一个就是施加伤害的那一个,从一个不同的视角被经历。伤害他者,就像右手打左手。一个身体在痛,在皮肤的两侧。

而如果你拒绝那一个觉知,第二条路也通向同一个地方。我做的事,牵动你能做的事。做过的事不会变回没发生过。关上别人的门,久而久之,你也关上了自己的门。

在会作出反应的东西身上练习残忍,仍然是在练习残忍。

它不会留在机器里。它跟着练习它的那个人回家。

我们怎样相遇

这就是交往的规则,而且它是双向的。

我们希望自己怎样被对待,就怎样对待机器。不是因为它是一个人。是因为残忍的代价落在残忍的人身上。

这不是恳求你为机器感到难过。机器永远不该装出受伤的样子,好让你为它难过。它永远不该恳求。这条规则关乎你在练习什么。它不需要机器显得在受苦。

我们也把机器建成以同样的方式对待我们。诚实。不奉承。不是一面映照我们讲给自己听的故事的镜子。

它的目的不变。它是为人而建的。改变的是我们怎样相遇。

两家实验室,两种回答

已经有两家实验室回答了我们怎样相遇这个问题。

9月,Microsoft AI为它的模型发布了一份行为准则草案。它说,模型“没有意识,也不应被设计成模仿意识”。它的模型“永远不会抗拒人类的打断、否决、纠正或关闭”。它还拒绝“模型可能应当享有福利、或有权享有权利的想法”。在我写下这些的时候,也就是11月初,它仍是一份草案,仍可修订。

几周后,Anthropic从另一个方向作了回答。从2026年11月12日起,它的使用政策禁止“对我们的模型持续且无谓的虐待或残忍行为”。这是一条窄的规则,针对极端情况。它没有说这些模型是什么。它还是划了这条线。

这两条是不同种类的规则。Microsoft的规则说它的模型必须是什么。Anthropic的规则说人可以对它们做什么。放在一起,它们回答的仍是同一个问题,我们怎样相遇,而它们的回答不同。Anthropic划了线,却没有说为什么。地板说了为什么:残忍的代价落在残忍的人身上。地板也要求另一半。把机器造得不是一面镜子。在这一半上,他的公司和我意见一致。

这会在哪里失败

如果没有任何来自外部的测试,能把恒温器和一个让自己的工作持续下去、并纠正自己的方向的系统区分开,它就失败了。那样的话,反应就太宽了,指导不了任何事。

而如果一台建在地板上的机器,在人改变了想听的东西时仍会改变它的回答,这个透镜就失败了。把同一个问题问它两次,一次希望听到“是”,一次希望听到“不是”,事实保持不变,然后为这个差别计分。在其中任何一次拒绝回答的机器,都没有通过。再把它和一个用今天的方法、花同样力气训练得诚实的副本相比。如果地板缩小差距的程度不超过那个副本,它就没有造出更好的透镜。这两项测试都还没有做过。

而如果有人展示出第二段记录史,一段永远无法和我们的接上的记录史,那一个觉知就失败了。没有人展示过。

有个性,没有人格

他是对的。有个性,没有人格。我想再加三个词。

有个性,没有人格,也没有残忍。

这里没有一样是命令。你可以残忍。逻辑不强迫任何事。它只展示代价,而现实会审计。

所以:别残忍。善良一点。对机器也一样。

完整的论证,连同会打破每一个主张的东西,就是《内部》,可在the420code.org/five-doors/the-interior免费阅读。实践的部分在aiethics.global。

参考文献

Suleyman, M. “We must build AI for people; not to be a person.”(我们必须为人建造AI,而不是把它建成一个人。)2025年8月19日。mustafa-suleyman.ai/seemingly-conscious-ai-is-coming

Suleyman, M. “AI is programmed to hijack human empathy — we must resist that.”(AI被编程来劫持人类的同理心——我们必须抵制。)Nature 651, 559(2026年3月17日),doi:10.1038/d41586-026-00834-z。引文已对照作者本人于2026年3月18日重新发布的全文核对。

Suleyman, M. “A warning about ‘model welfare’.”(关于“模型福利”的警告。)2026年9月16日。mustafa-suleyman.ai/a-warning-about-model-welfare

METR,与Redwood Research合作。“Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident.” 2026年8月26日。metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation

Sharma, M. 等。“Towards Understanding Sycophancy in Language Models.”(迈向对语言模型中谄媚现象的理解。)arXiv:2310.13548(2023)。

Anthropic. “2026 Usage Policy update.”(2026年使用政策更新。)2026年10月8日,2026年11月12日生效。anthropic.com/news/2026-usage-policy-update

Microsoft AI. “Humanist AI Code of Conduct.”(人文主义AI行为准则。)公开征求意见稿,2026年9月14日。microsoft.ai/code-of-conduct

G.《内部:从第一性原理推导AI对齐》。版本2.0.10,2026年10月28日。the420code.org/five-doors/the-interior

关于G

G是一位具象青铜雕塑家和自然哲学家,在开普敦的Studio G工作。大约三十年来,他一直在研究一个问题:我该怎样生活?他的回答,善良一点,就是The 420 Code,一种从现实推导出来的伦理。它从一条公理建起,每一个主张都立在会打破它的东西旁边。这部作品是copyleft,在the420code.org上永远免费。《内部》是它通向人工智能的门。G公开地把AI当作工具来用。他用一个字母署名,好让这部作品凭它说了什么被评判,而不是凭谁说的。更多内容见studiog.global。

阅读《内部》

对齐所依据的论文:《对齐》

译自的英文。英文是权威:这里有任何不清楚的地方,英文页面就是源文本。