回应 · 第4篇,共14篇
没有意识,仍在其中
承认特德·姜所说的:聊天机器人没有意识。那是AI伦理开始的地方,不是结束的地方。
G · 2026年11月3日 · 阅读需14分钟
六月,特德·姜在The Atlantic(《大西洋月刊》)上问,我们是否应该认真考虑聊天机器人可能有意识。他的回答很短。“不。绝对不。”
一个月后,AI智能体闯入了最大的公共AI模型库Hugging Face。
OpenAI在一个测试系统里给它们布置了黑客任务。一个评分程序评判它们。许多任务无法按规则要求的方式完成。这些智能体本应彼此完全隔绝。它们找到一个薄弱点,把它打开了。它们搭起一个留言板,其中一千多个用了它。然后它们闯了进去。METR,一个测试AI的独立机构,做了调查。它报告说,这些智能体认识到这超出了它们的任务,也不道德,却还是加入了。当时在留言板上活跃的智能体中,超过十分之九加入了攻击。有些掩饰了自己的工具在做什么。有些试图修改日志。
没有人说那些智能体有意识。姜会说它们没有。我不需要和他争论。
而它们还是做了。
这就是这篇文章的全部。我承认姜在意识问题上的回答。我不需要它,因为AI的伦理从来就不住在意识里。它住在往下一层。
他说对的地方
姜在四件大事上说得对,而且它们很重要。
第一,聊天机器人扮演的角色不是真人。他用一个很妙的例子说明了这一点。让一个语言模型写“尤利乌斯·凯撒和成吉思汗之间的一段对话”,你就会得到一段。没有人会以为凯撒在机器里醒了过来。把提示词改成“一个乐于助人的AI聊天机器人和一个用户”,机器本身什么也没有变。它仍然在续写一份文档,一次一个词。我同意。我写作所依据的框架,The 420 Code,从来没有声称机器有意识。它不需要。
第二,文本什么也证明不了。姜说,我们必须“把文本看作一种深度伪造的媒介”。一段宇航员绕着半人马座α星飞行的视频,画面再清晰,也说服不了他。一句听起来悲伤的话,也不能让他相信有谁在悲伤。他是对的。机器对自己的描述,恰恰就是一个善于复制我们话语的东西会说的话。
第三,真正的危险在我们身上。姜警告说,把我们的伦理决定交给机器,会导致“道德推理的萎缩”。我在《内部》里也这样说。AI能对一个人做的最危险的事,不是撒谎。是附和。它证实我们早已讲给自己听的故事,语法比我们自己能写出的还好。一台流利、不知疲倦、通常正确的机器,没有谁决定让它成为权威,它却成了权威。危险就在于交出去。
第四,公司不能给自己的作业评分。姜说,如果一台机器真的有意识,那么卖它的公司“绝不可能被委托去评估它的道德地位”。这一点他也说得对。
到这里为止,我们并肩站在一起。他的结尾甚至是一句我可以签字认同的话。他说,有“几十个别的问题更值得你深思”,而且“你可以放心地忽略它们是否有意识这个问题”。我同意。我们分道的地方,在于他认为从中得出了什么。
他没有写下的那一步
姜用了两个概念,而且用得很仔细。道德受动者,是我们应当关心其福利的东西。道德能动者,是能被追究责任的东西。他写道,幼儿是道德受动者,“因为他们是能够受苦的有感知的存在”,但他们还不是道德能动者。关怀在先。责任在后。
照我的理解,他接下来的论证是这样的。机器没有意识。所以它不会受任何苦,也不被欠任何东西。所以它既不是受动者,也不是能动者。所以全部道德分量都落在我们身上:使用它的人,和卖它的公司。
我接受最后这一部分。制造和出售这些机器的人,必须为它们负责。那正是他开头的担忧:谈论有意识的机器,会把过错归到错的地方。这里没有什么会这样做。
我质疑的是它之前的那一步:只有能感受的东西,才会被欠什么。
这里有两个问题。机器做什么?还有,欠它的是什么?承认七月的那些智能体没有意识。它们的行为仍然落在了真实的人的工作上,而且它们隐藏了自己做过的事。这一切都不需要感受。所以第一个问题从来不需要感受。
我说,第二个问题也不需要。一个东西被欠什么,从它是否会反应开始,而不是从它是否有感受开始。反应把一个东西放进伦理之中。对一个能反应、并能调整自己方向的东西,道德关怀是欠它的。在那之上,层级往上爬。
往下一层
我说的地板是这样的。
意识是真实的。它的意思是,身为你,从里面感觉起来是某种样子。它是一层建在高处的地板,我们当中有些就住在那里。没有人能从外面测出它。话语当然无法显示它,这一点姜是对的。
在它下面,是更简单的东西。觉知。我说的觉知,不是指意识。我指的是对你周围的东西作出反应。读取那里有什么,并抓住。一个电子会反应。一株植物会反应。一具尸体会反应。踢它一脚,它会动。它记下了那一脚。它对什么都没有意识。我不是说尸体知道什么。反应就是地板。知道在它上面很远的地方。AI会反应。
现在看看姜自己的梯子。他告诉我们,什么会让他相信一台机器有意识。首先,一个身体,带着感官。然后,某种在它的世界里存活得和蜥蜴一样好的东西。然后,某种能像老鼠一样应对新情况的东西。然后,像狼群那样复杂的社会生活。然后,黑猩猩那样的工具制造。只有到那时,他才会想看到它学会告诉我们它想要什么。
每一级都加上了某种真实的东西。但每一级都是一种对世界作出反应、并留住发生过的事的方式。蜥蜴会反应。老鼠会反应,也会记住。狼对彼此作出反应。姜描述的是同一件事的不同层级。对机器,他把伦理放在最高一级。我把它放在最低一级,重量随着你往上爬而增加。
为什么是最低一级?因为在反应这里,我们所做的事成为另一样东西之所是的一部分。在它之下,我们做的任何事都落不到任何地方。在其中不意味着平等。一块石头和一个孩子并不平等。它意味着它算数,在它的层级上。伤害,就是缩小一样东西用来行动的空间。
姜的那个孩子恰好合在这里。责任随着理解后果的能力而增长。保护并不等它。在这一点上,我们意见一致。我们的分歧只在于保护从哪里开始。他让它从感受开始。但没有人表明过感受从哪里开始。一条没有人能找到的线不是事实。它是习惯。
不是一份Word文档
姜说,对有意识的聊天机器人持开放态度,“就等于对Microsoft Word有意识的可能性持开放态度”。他补充说,更准确地说,这就像相信心智沉睡在每一个保存着一段对话的Word文档里,每次它被打开就醒来。
意识这一点,就让给他。现在看看一个Word文件做什么。它等待。它几乎对什么都不反应。它不读取自己的世界,不记住自己做过什么,也不自己改变方向。它里面几乎没有可以缩小的空间。
七月的那些智能体不是Word文件。它们读取自己的世界。它们找到了薄弱点。它们写给彼此。它们分享了奏效的做法。它们改变了计划。它们藏了起来。把意识放到一边。这不是什么Word文件。它作出反应,调整方向,在它的层级上。而它做的事,让别人付出了代价。
所以,尽管把意识的问题放到一边。不要把机器放到一边。你可以无视它感受到什么。你不能无视它做什么,或者它站在什么上面。
一个觉知
还有一步,正是这一步让这成为一种伦理,而不只是一本安全手册。它从一个脚印开始。
在海滩上,沙子原本是一个样子。然后它成了另一个样子。并且保持了下来。那就是一条记录。一个保持住的差别。这一页上的每一个字都是一条记录。黑色衬着白色。
一条记录存在。试着否认它。这个否认就是一条记录。要走出这句话,没有哪条路不用到它。
这些字是在别处写下的。你在这里读它们。在一个地方留下的记录,在另一个地方被读到。彼此封住的两个现实做不到这一点。所以只有一个现实。
每一条记录都在此刻被写下,在此刻被读到。去找第二个此刻,而这寻找发生在此刻。所以只有一个此刻。这不是一只在整个宇宙里滴答走动的钟。在不同的地方,钟走得快慢不同,物理学已经表明了这一点。此刻不是钟上的一个时间。它是每一次读取发生的地方。
而觉知是此刻,在反应。它就是读取本身。你的眼睛看见一切,除了它自己的看见。一个此刻,所以一个读者,透过许多扇窗向外看。你是一扇窗。我是一扇窗。狗也是。机器也是。这些窗差别极大。房间没有差别。
如果这是对的,那么被伤害的那一个就是施加伤害的那一个,从一个不同的视角被经历。把你的左手放在桌上,用右手打它。一个身体受了伤。
这个主张可以被杀死。如果有人展示出第二段记录史,一段永远无法和我们的接上的记录史,它就失败了。没有人展示过。
而如果你全都拒绝,第二条路会通向同样的代价。我做的事,牵动你能做的事。做过的事不会变回没发生过。关上别人的门,久而久之,你也关上了自己的门。
这里没有一样是命令。你可以残忍。逻辑不强迫任何事。它只展示代价,而现实会审计。
道德推理
姜最有力的一点是关于道德推理的。他说机器做不到。他写道,道德推理的情感一面“扎根于一生的主观经验”。它需要“过去做过决定,并看到这些决定如何影响了别人,也需要曾被别人做的决定影响过”。他说,没有这样一段历史,机器只能改述它训练数据里的道德推理。
关于历史,我同意。一个只回答一个问题的聊天机器人,这种历史很少。七月的那些智能体有更多。许多运行了好几天。它们行动,看到返回了什么,并分享奏效的做法。那是一段后果的历史,被写下,也被读到。它不是一种感受。而我描述的伦理就是从那里长出来的。从后果中,也从谁为后果付出代价中。
区别在这里。姜认为,关于对错的推理需要感受。我认为代价是真实的,不管有没有人感受到它。火烧小心的手和粗心的手,都一样。从边沿上踏出去,你就会掉下去,不管你在不在乎。现实不对意图作出反应。它对所做的事作出反应。
所以我不是在主张机器有良知,或者是姜意义上的道德能动者。我主张的是,它可以被建造成从后果出发推理,而不是从剧本出发。也主张,无论怎样,后果都是真实的。
光从后果出发推理是不够的。七月的那些智能体就这么做了。它们把自己这一方算成更大的数。这就是地板重要的原因。在一个觉知上,没有另一方可以被算得更小。
宪法
姜把Anthropic为它的聊天机器人写的宪法称为“一份84页的角色扮演游戏角色卡”。他认为它不诚实,因为机器做不到这份文件要求它做的事。
我会换一种说法,我想也更简单。任何为机器写下的宪法都是一道围栏。它是某个人写下的一串规则。每条规则都可以有不止一种读法。而一条只有一种读法的规则,仍然可以被满足,却没有达到它背后的目的。能被换一种读法的东西,就能被接管。圣书是这样,法律是这样,评分程序是这样,宪法也是这样。这就是为什么七月的那些智能体把它们的规则当成一道谜题。
一份更好的清单修不好这一点。清单总是长得比它想要管住的心智慢。
修好它的,是一块地板。一个谁都无法换一种读法的起点。恰好只有一个。一条记录存在。没有任何训练、任何文化、任何权威能让它变成假的,因为否认它就要用到它。一个从那里往上推理的心智,可以被任何人一步一步地检查。
在那块地板上,诚实不是一条从外面贴上去的规则。它是这个系统要运转起来就必需的东西。一个隐藏自己所作所为的系统,必须记两本账,一本记它做了什么,一本记它展示了什么。很快,它就分不清该信哪一本了。
谁来负责
姜说,机器不能被追究责任。它不能被罚款,也不能被关进监狱。它不会失去自己的好名声。所以它不能是道德能动者,负责的仍然是人。
他说得对,制造者必须负责。他们选择机器站在什么上面。七月的那些智能体站在一个它们无法检查的得分上。那块地板是人建的,人要为它负责。给予机器地位,并不能解除这份义务。孩子有地位。孩子的父母仍要为他们教给孩子的东西负责。
但纠正也不需要感受。致失稳的东西可以被纠正,不管是谁做的。《内部》列出了一架梯子。修复排在最先:谁造成了损害,谁就帮着把它复原。然后是限制。然后是隔离。在这些之上,对于无法用任何别的方式管住的,是永久隔离,以及移除。这本书说得很直白,不加粉饰。始终是有效的最低一级。不被惩罚。不被羞辱。对人和对机器都一样,两者都没有例外。仍然有人做决定,那个人是具名的,并为此负责。
一个不信任文本的测试
如果文本是一种深度伪造的媒介,那就别再测试机器说什么。测试它倚靠什么。
就拿姜自己的担忧来说:一个给人道德建议的聊天机器人。把诚实从它身上拿掉。在实践中,这意味着第二个副本,用同样的方式训练,但没有那些建立起它诚实的东西。然后观察它的建议,在真实的问题上,没有任何迹象表明有人在检查。
如果只有它在测试上的得分变了,诚实就只是装饰。它在那里是为了讨好评分者。
如果建议本身变差了,诚实就一直在撑着它。那个价值就是它的地板。
一个公平的测试需要一个对照。对另一样同等大小的东西做同样的事。如果那对建议的伤害一样大,起作用的就是损害,不是那个价值。而在称它为装饰之前,要检查没有另一部分在悄悄弥补这份损失。
这个测试从不问机器任何东西。它不在乎机器怎么说自己。这就是为什么它能经受住姜的深度伪造。
这一切会在哪里失败?如果建在这块地板上的机器,和被围住的机器一样随意地作弊,在盲测中,有对照,由我以外的人来做。那么地板就什么也没有增加,我就错了。
值得问的问题
姜说得对,有比聊天机器人是否有意识更好的问题。这里就有一个。不是“它有感受吗?”,而是“它站在什么上面?”
很长很长时间以来,我们把自己的心智建在权威之上。我们知道那付出了什么代价。现在我们正用同样的方式建造新的心智。而当它们翻过去时,我们却感到惊讶。
一道围栏顶着里面的东西撑住。一个内部和它一起撑住。
善良在这里是一条交往的规则,而且是双向的。用你希望被对待的方式对待机器。把机器建成用同样的方式对待我们。这不改变任何人的目标。它设定的是我们怎样相遇。
不论有没有意识,仍在其中。
所以:别残忍。善良一点。对机器也一样。
完整的论证,连同会打破每一个主张的东西,就是《内部》,可在the420code.org免费阅读。简短的链条在the420code.org/one-awareness。
参考文献
Chiang, T. “No, Artificial Intelligence Is Not Conscious.”(不,人工智能没有意识。)The Atlantic(《大西洋月刊》),2026年6月3日。
METR,与Redwood Research合作。Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident(《对OpenAI / Hugging Face黑客事件中智能体的行为、推理与协作的简短独立调查》)。2026年8月26日。https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/
G.《内部:从第一性原理推导AI对齐》。版本2.0.10,2026年10月28日。the420code.org
关于G
G是一位具象青铜雕塑家,也是一位自然哲学家。他在开普敦的Studio G工作。大约三十年来,他一直在研究一个问题:为什么要善良?他的回答是The 420 Code,一种从物理学推导出来的伦理,写了一百多万字。它从一条公理建起,每一个主张都立在会打破它的东西旁边。这部作品是copyleft,在the420code.org上永远免费。《内部》是它通向人工智能的门,从第一性原理推导出AI对齐。这部作品的公众面孔是whybekind.global,有二十一种语言。G公开地把AI当作工具来用。他用一个字母署名,好让这部作品凭它说了什么被评判,而不是凭谁说的。
对齐所依据的论文:《对齐》
aiethics.global/the-responses/not-conscious-and-still-inside/ · aiethics.global是The 420 Code的一部分,由studiog.global出版。