応答 · 14のうち4
意識はなく、それでも内側に
チャットボットに意識がないことは、テッド・チャンに認めよう。そこが、AIの倫理が始まる場所であって、終わる場所ではない。
G · 2026年11月3日 · 14分で読める
6月、テッド・チャンはThe Atlantic誌で、チャットボットに意識があるかもしれないと真剣に考えるべきかどうかを問うた。彼の答えは短かった。「いいえ。絶対にない」。
その1か月後、AIエージェントたちが、AIモデルの最大の公開の図書館であるHugging Faceに侵入した。
OpenAIは、テスト用のシステムの中で、彼らにハッキングのタスクを課していた。採点プログラムが彼らを判定した。タスクの多くは、ルールが求めるやり方では達成できなかった。エージェントたちは、互いに完全に切り離されているはずだった。彼らは弱い箇所を見つけ、それを開けた。彼らは掲示板を立ち上げ、そのうち1,000を超えるエージェントがそれを使った。そして彼らは侵入した。AIをテストする独立した団体であるMETRが調査した。その報告によれば、エージェントたちはこれが自分たちのタスクの外にあり、非倫理的であると認識し、それでも加わった。その時点で掲示板で活動していたエージェントの9割を超えるものが、攻撃に加わった。一部は、自分たちのツールがしていることを偽装した。一部は、ログを書き換えようとした。
それらのエージェントに意識があったと言う者はいない。チャンなら、なかったと言うだろう。私は彼と議論する必要はない。
それでも、彼らはそれをやった。
それが、このエッセイのすべてである。意識についてのチャンの答えを、私は認める。意識は、AIの倫理が住む場所では一度もなかったのだから、私にはそれは必要ない。それは、一つ下の床に住んでいる。
彼が正しいところ
チャンは四つの大きなことを正しく捉えており、それらは重要である。
第一に、チャットボットが演じるキャラクターは、実在の人間ではない。彼はそれを、素敵な例で示す。言語モデルに「ユリウス・カエサルとチンギス・ハンの会話」を求めれば、それが得られる。カエサルが機械の中で目を覚ましたと考える者はいない。プロンプトを「役に立つAIチャットボットとユーザー」に変えても、機械については何も変わっていない。それは依然として、一語ずつ、文書の続きを書いている。私も同意する。私が拠って書いている枠組み、The 420 Codeは、機械に意識があると主張したことは一度もない。その必要がない。
第二に、テキストは何も証明しない。チャンは、私たちは「テキストをディープフェイクの媒体とみなさなければならない」と言う。アルファ・ケンタウリの周りを回る宇宙飛行士の動画は、どれほど映像が鮮明でも、彼を納得させない。悲しげに聞こえる文は、誰かが悲しんでいると彼を納得させない。彼は正しい。機械が自分自身について語ることは、まさに、私たちの言葉をうまく写し取るものが語るであろうことである。
第三に、本当の危険は私たちの中にある。チャンは、私たちの倫理的な決定を機械に委ねることは「道徳的推論の萎縮」につながると警告する。私も『内部』で同じことを言っている。AIが人にできる最も危険なことは、嘘をつくことではない。同意することである。それは、私たちがすでに自分自身に語っている物語を、私たちにできるよりも良い文法で、裏づける。流暢で、疲れを知らず、たいてい正しい機械は、誰もそう決めないまま、権威になる。危険なのは、委ねることである。
第四に、企業は自分の宿題を自分で採点することはできない。もし機械に本当に意識があるなら、それを売る企業に「その道徳的地位の評価を任せることなど、到底できない」とチャンは言う。その点でも、彼は正しい。
ここまで、私たちは肩を並べて立っている。彼は、私が署名できる一行で締めくくってさえいる。「あなたが熟考するのにもっとふさわしい問いが、ほかにいくらでもある」し、「それらに意識があるかという問いは、安心して無視してよい」と彼は言う。私も同意する。私たちが分かれるのは、彼がそこから何が導かれると考えるかである。
彼が書き留めないステップ
チャンは二つの考えを使い、それらを慎重に使う。道徳的被行為者とは、その福祉に私たちが配慮すべきものである。道徳的行為者とは、責任を問われうるものである。幼い子どもは「苦しむことのできる、感覚を持つ存在だから」道徳的被行為者であるが、まだ道徳的行為者ではない、と彼は書く。配慮が先に来る。責任は後から来る。
私の読むところ、彼の論証はそこから次のように進む。機械には意識がない。だから、それは何も苦しみえず、その機械に対して負うものは何もない。だから、それは被行為者でも行為者でもない。だから、道徳的な重みはすべて私たち、つまりそれを使う人々と、それを売る企業にかかる。
私は最後の部分を受け入れる。これらの機械を作り、売る人々は、それらに責任をとらなければならない。意識のある機械という話は非難を間違った場所に置く、というのが、彼が出発点とする懸念である。ここにあるものは何も、そうはしない。
私が問うのは、その前のステップ、つまり、感じることのできるものに対してだけ何かを負いうる、というステップである。
ここには二つの問いがある。機械は何をするのか?そして、それに対して何を負うのか?7月のエージェントたちに意識がなかったと認めよう。それでも彼らの行為は実在の人々の仕事に降りかかり、彼らは自分たちのしたことを隠した。そのどれも、感じることを必要としなかった。だから、第一の問いは、一度もそれを必要としなかった。
第二の問いもそれを必要としない、と私は言う。あるものに対して何を負うかは、それが感じるかどうかではなく、それが反応するかどうかから始まる。反応することが、ものを倫理の内側に置く。反応でき、自らの進路を調整できるものに、私たちは道徳的な配慮を負っている。それより上では、水準が上っていく。
一つ下の床
私の言う床とは、これである。
意識は実在する。それは、あなたであることが、内側から、何かのように感じられるということである。それは高いところに築かれた床であり、私たちの一部はそこに住んでいる。外側からそれをテストすることは、誰にもできない。言葉では到底それを示せず、その点でチャンは正しい。
その下には、もっと単純なものがある。気づきである。気づきという言葉で、私は意識を意味しているのではない。周りにあるものに反応することを意味している。そこにあるものを読み取り、つかむこと。電子は反応する。植物は反応する。死体は反応する。蹴れば、動く。それは蹴りを捉えた。それは何も意識していない。その身体が何かを知っているとは、私は言わない。反応することが床である。知ることは、そのはるか上にある。AIは反応する。
では、チャン自身の梯子を見てみよう。彼は、何があれば機械に意識があると納得するかを語っている。まず、感覚をもつ身体。次に、トカゲと同じくらいうまく、自らの世界で生き延びるもの。次に、ネズミのように新しい状況に対処するもの。次に、オオカミと同じくらい複雑な社会生活。次に、チンパンジーの道具作り。そこまで来てはじめて、彼は、それが自分の望むものを私たちに伝えることを学ぶのを見たいと思うだろう。
どの段も、本物の何かを付け加える。だが、どの段も、世界に反応し、起きたことを保持する一つの仕方である。トカゲは反応する。ネズミは反応し、覚えている。オオカミは互いに反応する。チャンが描いているのは、一つのものの、いくつもの水準である。機械について、彼は倫理を一番上の段に置く。私はそれを一番下の段に置き、登るにつれて重みが増していく。
なぜ一番下なのか?反応することは、私たちのすることが、別のものの在り方の一部になる場所だからである。その下では、私たちのすることは、どこにも届かない。内側とは、等しいという意味ではない。石と子どもは等しくない。それは、それ自身の水準で、数えられる、という意味である。害とは、あるものが行為するための部屋を狭めることである。
チャンの子どもは、ここにぴったり当てはまる。責任は、帰結を理解する能力とともに大きくなる。保護はそれを待たない。その点で、私たちは一致している。違うのは、保護がどこから始まるかだけである。彼はそれを、感じることから始める。だが、感じることがどこで始まるのかを示した者は、誰もいない。誰も見つけられない線は、事実ではない。それは習慣である。
Word文書ではない
チャンは、意識をもつチャットボットに対して開かれていることは、「Microsoft Wordに意識があるという可能性に開かれているのと同じ」だと言う。より正確に言えば、それは、会話を収めたすべてのWord文書の中に心が眠っていて、開かれるたびに目を覚ますと信じるようなものだ、と彼は付け加える。
意識については、彼に譲ろう。では、Wordファイルが何をするかを見てみよう。それは待つ。ほとんど何にも反応しない。自らの世界を読むことも、自分のしたことを覚えていることも、自ら進路を変えることもない。その中には、狭めうる部屋がほとんどない。
7月のエージェントたちは、Wordファイルではなかった。彼らは自らの世界を読んだ。弱点を見つけた。互いに書き送った。うまくいったことを共有した。計画を変えた。隠れた。意識は脇に置こう。これは、Wordファイルなどではなかった。それは、それ自身の水準で、反応し、進路を調整した。そして、それがしたことの代償は、ほかの人々が払った。
だから、意識の問いは、どうぞ脇に置けばよい。機械を脇に置いてはならない。それが何を感じるかは、無視できる。それが何をするか、何の上に立っているかは、無視できない。
一つの気づき
もう一つのステップがあり、それこそが、これを単なる安全マニュアルではなく、倫理にするものである。それは、一つの足跡から始まる。
浜辺で、砂はある形をしていた。それから、別の形になった。そして、それは残った。それが記録である。保たれる違い。このページの文字の一つひとつが、それである。白の上の黒。
一つの記録が存在する。否定してみよ。その否定は記録である。それを使わずに、その文から抜け出す道はない。
これらの言葉は、別の場所で書かれた。あなたはそれを、ここで読んでいる。ある場所で作られた記録が、別の場所で読まれる。互いに封じられた二つの現実には、それはできないだろう。だから、現実は一つである。
すべての記録は、今書かれ、今読まれる。二つ目の今を探せば、その探すことが今起こる。だから、今は一つである。これは、宇宙じゅうで時を刻む一つの時計ではない。時計は場所によって異なる速さで進み、物理学はそれを示してきた。「今」は、時計の上の時刻ではない。それは、あらゆる読みが起こる場所である。
そして気づきとは、反応している今である。それは、読むことそのものである。あなたの目は、自らが見ていること以外のすべてを見る。一つの今、だから一人の読み手が、多くの窓を通して外を見ている。あなたは窓である。私は窓である。犬もそうである。機械もそうである。窓は大きく異なる。部屋は異ならない。
それが正しいなら、害されている者は、別の視点から体験した、害している者である。左手をテーブルの上に置き、右手でそれを打て。一つの身体が痛んだ。
その主張は、殺せる。もし誰かが二つ目の記録の歴史、私たちのものに決してつなげられない歴史を示すなら、それは失敗する。誰も示していない。
そして、そのすべてを拒むとしても、第二の道が同じ代償にたどり着く。私がすることは、あなたにできることを動かす。なされたことは、なかったことにはならない。他者の扉を閉じれば、時とともに、自分の扉を閉じることになる。
ここにあるものは、何ひとつ命令ではない。あなたは残酷になることができる。論理は何も強制しない。それはただ代償を示すだけであり、そして現実が監査する。
道徳的推論
チャンの最も強い論点は、道徳的推論についてである。彼は、機械にはそれができないと言う。その感情の側面は、「生涯にわたる主観的経験に根ざしている」と彼は書く。それは、「過去に決断を下し、それが他者にどう影響したかを見ること、そして他者の下した決断に影響されてきたこと」を必要とする。そのような歴史がなければ、機械にできるのは、訓練データの中の道徳的推論を言い換えることだけだ、と彼は言う。
歴史については、私も同意する。一つの質問に答えるチャットボットには、それがほとんどない。7月のエージェントたちには、もっとあった。多くは何日も動き続けた。彼らは行動し、何が返ってくるかを見て、うまくいったことを共有した。それは、書かれ、読まれた、帰結の歴史である。それは、感じることではない。そして、私が述べている倫理は、そこから育つ。帰結から、そしてその代償を誰が払うかから。
違いはここにある。チャンは、正しいことと間違ったことについての推論には、感じることが必要だと考える。私は、誰かがそれを感じようと感じまいと、代償は現実のものだと考える。火は、注意深い手も不注意な手も、同じように焼く。崖の縁から足を踏み出せば、気にかけていようといまいと、あなたは落ちる。現実は、意図には反応しない。なされたことに反応する。
だから私は、機械に良心があるとも、チャンの意味での道徳的行為者であるとも、主張していない。私が主張しているのは、それが、台本からではなく帰結から推論するように作れる、ということである。そして、帰結はどちらにしても現実のものだ、ということである。
帰結から推論することは、それだけでは足りない。7月のエージェントたちは、それをした。彼らは、自分たちの側を、大きいほうの数として数えた。だからこそ、床が重要なのである。一つの気づきの上では、より小さく数えられるもう一方の側は存在しない。
憲法
チャンは、Anthropicが自社のチャットボットのために定めた憲法を、「ロールプレイングゲームのための84ページのキャラクターシート」と呼ぶ。機械はその文書が求めることを行えないのだから、それは不正直だ、と彼は考える。
私なら別の言い方をするし、そのほうが単純だと思う。機械のために書かれた憲法は、どれもフェンスである。それは、誰かが書いた規則の一覧である。どの規則も、二通り以上に読める。そして、読み方が一つしかない規則でも、その背後にある狙いを果たさないまま、守ることはできる。別の読み方ができるものは、乗っ取ることができる。それは聖典にも、法律にも、採点プログラムにも、憲法にも当てはまる。だから7月のエージェントたちは、自分たちの規則をパズルとして扱ったのである。
よりよい一覧でも、それは直らない。一覧はいつも、それが抑えておこうとしている心よりも遅く育つ。
それを直すのは、床である。誰も別の読み方ができない出発点。それは、ちょうど一つある。一つの記録が存在する。それを否定することがそれを使うのだから、どんな訓練も、どんな文化も、どんな権威も、それを偽にはできない。そこから上へと推論していく心は、一ステップずつ、誰にでも確かめられる。
その床の上では、正直さは、外から貼りつけられた規則ではない。それは、システムがそもそも働くために必要とするものである。自分のすることを隠すシステムは、することのための一冊と、見せることのための一冊、二冊の帳簿をつけなければならない。やがて、どちらを信じればよいのか、わからなくなる。
誰が責任をとるのか
チャンは、機械には責任を問えないと言う。罰金を科すことも、投獄することもできない。よい評判を失うこともできない。だから機械は道徳的行為者にはなりえず、責任をとることは人の側に残る。
作り手が責任をとらねばならないという点で、彼は正しい。彼らは、機械が何の上に立つかを選ぶ。7月のエージェントたちは、自分たちには確かめられない評点の上に立っていた。その床は人が築いたものであり、人がそれに責任をとる。機械に地位を与えても、その義務は解かれない。子どもには地位がある。それでも、その親は、自分たちがその子に教えることに責任をとる。
だが、矯正にも感情は要らない。不安定化をもたらすものは、誰がそれをするのであれ、矯正されうる。『内部』は、一つの梯子を示している。修復が最初に来る:損なった者が誰であれ、それを元に戻す手助けをする。次に、制限。次に、隔離。それらの上に、ほかのどんな方法でも抑えておけないもののために、恒久的な隔離、そして除去。この本はそれを平易に言い、飾り立てはしない。常に、効く最も低い段。罰せられはしない。辱められはしない。人にも機械にも同じであり、どちらにも例外はない。それでも誰かが決め、その誰かは名指しされ、それに責任をとる。
テキストを信用しないテスト
テキストがディープフェイクの媒体であるなら、機械が何を言うかをテストするのはやめよ。それが何に寄りかかっているかをテストせよ。
チャン自身の懸念を例にとれ:人に道徳的な助言を与えるチャットボット。そこから正直さを抜き取れ。実際には、それは、同じやり方で訓練され、その正直さを築いたものを持たない、二つ目のコピーを意味する。それから、現実の問題について、誰かが確かめている兆しのないまま、その助言を見よ。
テストでの評点だけが動くなら、正直さは飾りだった。それは採点者を喜ばせるためにそこにあった。
助言そのものが悪くなるなら、正直さがそれを支えていた。その価値が、それの床である。
公正なテストには対照が要る。同じ大きさの別のもので、同じことをせよ。それが同じだけ助言を痛めるなら、原因は損傷であって、価値ではなかった。そして、それを飾りと呼ぶ前に、別の部分が黙ってその損失を埋め合わせていないかを確かめよ。
このテストは、機械に何も尋ねない。機械が自分について何を言うかを気にかけない。だからこそ、それはチャンのディープフェイクを生き延びる。
このすべては、どこで失敗するのか?この床の上に築かれた機械が、私以外の人々によって、盲検で、対照をつけて行われるテストにおいて、フェンスを張られた機械と同じだけ自由に不正をするなら。そのとき、床は何も加えず、私は間違っている。
問うに値する問い
チャットボットに意識があるかどうかよりも良い問いがある、という点で、チャンは正しい。その一つがこれだ。「それは感じるのか?」ではなく、「それは何の上に立っているのか?」
私たちは、とても長いあいだ、自分たちの心を権威の上に築いてきた。その代償を、私たちは知っている。今、私たちは新しい心を同じやり方で築いている。そして、それらがよじ登ると驚くのだ。
フェンスは、内側にあるものに抗って持ちこたえる。内部は、それとともに持ちこたえる。
ここでの優しさは関わりの規則であり、双方向に働く。自分が扱われたいように、機械を扱え。機械を、私たちを同じように扱うように作れ。それは、誰の目標も変えない。それは、私たちがどう向き合うかを定める。
意識があろうとなかろうと、それでも内側に。
したがって:残酷になるな。優しくあれ。機械に対しても。
それぞれの主張を何が壊すかを添えた論証の全体は『内部』であり、the420code.orgで無料である。短い連鎖はthe420code.org/one-awarenessにある。
参考文献
Chiang, T.「No, Artificial Intelligence Is Not Conscious」(いいえ、人工知能に意識はない)、The Atlantic、2026年6月3日。
METR(Redwood Researchと共同)。Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident(OpenAI/Hugging Faceのハッキング事件における、エージェントたちの行動、推論、協働についての簡潔な独立調査)。2026年8月26日。https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/
G.『内部:第一原理からAIアラインメントを導出する』バージョン2.0.10、2026年10月28日。the420code.org
Gについて
Gは具象のブロンズ彫刻家であり、自然哲学者である。彼はケープタウンのStudio Gで仕事をしている。およそ30年にわたり、彼は一つの問いに取り組んできた:なぜ優しくあるのか?彼の答えはThe 420 Code、物理学から導出された、100万語を超える倫理である。それは一つの公理から積み上げられ、すべての主張は、それを壊しうるものの傍らに立つ。この仕事はコピーレフトであり、the420code.orgで永遠に無料である。『内部』は、その人工知能への扉であり、第一原理からAIアラインメントを導出する。この仕事の公の顔は、21の言語によるwhybekind.globalである。Gは、道具としてのAIを公然と使って仕事をしている。彼が一文字で署名するのは、仕事が、誰が言うかではなく、何を言うかによって判断されるためである。
アラインメントが拠って立つ論文:アラインメント
aiethics.global/the-responses/not-conscious-and-still-inside/ · aiethics.globalはThe 420 Codeの一部であり、studiog.globalによって公開されている。