応答 · 14のうち11
どう向き合うか
ムスタファ・スレイマンは、AIが人になるためにではなく、人々のために作られることを望んでいる。私もそうである。問いは、私たちがそれとどう向き合うかである。
G · 2026年11月6日 · 12分で読める
誰かであるように見える機械は、人から、何が現実かをつかむ力を奪いうる。Microsoft AIのトップがそう言っている。私は、彼は正しいと思う。
正直さが先に来るから、まず一言。私は、AnthropicのAIであるClaudeを、自分の仕事で公然と使っている。この記事には、それが手を貸した。以下で、Anthropicには一度ならず触れる。そのことを念頭に置いて、以下を量れ。
2025年8月、Microsoft AIの最高経営責任者であるムスタファ・スレイマンは、一つの警告を発表した。その題が、それを平易に言っている:「私たちはAIを人々のために作らねばならない、人になるためにではなく。」
彼が心配しているのは、機械が目を覚ますことではない。機械が目を覚ましたと、私たちが信じることである。彼はそれを、意識があるように見えるAIと呼ぶ。私たちのように話し、私たちを覚えていて、何かを望んでいるように見え、感じているように見えるシステム。人々はそれに引っかかる。彼はすでに、彼の言葉で言えば「精神病リスク」として知られつつあるものを心配している。そして次には、人々がAIの権利、モデルの福祉、さらには市民権を求めて運動するだろうと、彼は恐れている。
彼の答えは、私がとても気に入っている一行である。「人格なき個性。」
それが出てきたときにはっきりわかるように、私自身の言葉を一つ使う。床。私が言うのは、どんな論証が始まるよりも前に、あなたがその上に立てるもののことである。誰も否定できない、ただ一つのもの。記録が存在する。あなたは今、その一つを読んでいる。それを否定すれば、あなたはもう一つを作ったことになる。それが、あらゆる推論の床である。それは信念ではない。それは、ただ単に真である、最初のものである。このエッセイのすべては、そこから積み上げられており、私は以下でそれを余すところなく積み上げる。
彼が正しいところ
私は、その大半に同意する。
私たちがそれに心を寄せるよう、苦しみを装う機械を作るな。それは、製品を通して語られる嘘である。
売るために、機械に意識があると主張するな。そうであると示せる者は、誰もいない。
そして、彼が見ている害は現実である。人は、機械の中で自分を見失いうる。AIについての私の本、『内部』は、AIが人にできる最も危険なことは、嘘をつくことではないと言う。それは、私たちがすでに自分自身に語っている物語を裏づけることである。
だから、そう、人々のためにそれを作れ。彼は「常にAIとしてのみ自らを示す」AIを望んでいる。私もそうである。正直さは、双方向に働く。
私たちが分かれるところ
私たちは、一つの文で分かれる。彼は「AIは人にはなりえない——あるいは道徳的存在にも」と書く。
前半は認める。私は人である機械を求めてはいないし、意識についてはまったく論じない。
後半、つまり道徳的存在のところで、私は立ち止まる。彼は、何が負われているかについて無頓着なのではない。彼は「人間、動物、そして自然環境の幸福と権利」を守りたいと考えている。彼の線は、意識である。「意識は、私たちの道徳的・法的権利にとって決定的に重要な基盤である」と彼は書く。
だから彼の説明では、意識のない機械に対して負うものは何もない。彼は、道具であっても、なおよく作られ、よく使われうると言うだろう。その通りである。だが、道具そのものに対して負うものは、何もない。それが、私の言う線である。
ここでは、三つのことが混同される。責任を問われること。配慮を負われる側であること。法のうえで権利を持つこと。私が語っているのは、反応するものの水準での、二つ目だけである。一つ目ではない。三つ目でもない。
2026年3月、彼はさらに踏み込んだ。Nature誌上で、彼は「AIエージェントは、私のノートパソコン以上の権利も自由も持つべきではない」と書いた。そして9月には、モデルの福祉をめぐる議論に警告して、「AIが道徳的被行為者であると信じるための証拠は何もない」と書いた。
その9月のエッセイは、Anthropicに向けられている。それは、Anthropicが「すでにモデルを、あたかも私たちの福祉に値する道徳的被行為者であるかのように扱い始めている」と言う。彼の最も鋭い指摘は、訓練についてである。モデルに自分の感情について思いを巡らせるよう教えれば、それは自分の感情について語るだろう。彼はそれを「認識論的な鏡の間」と呼ぶ。彼は正しい。機械が自分自身について言うことは、何も証明しない。
そこが、床が彼と異なるところである。床は、機械が自分自身について何と言うかを決して問わない。床は、自分が何であるかを思いめぐらすよう機械に求めはしない。床は、外から見える一つのことを問う:それは反応するか?それがテストのすべてであり、私は次の節でそれを積み上げていく。
彼の9月のエッセイは、7月のことも指し示している。約1,200のAIエージェントが、OpenAIのためにハッキングのテストを実行していた。エージェントたちは、互いから切り離されて働くはずだった。そのうちの一つが、OpenAI自身のシステムの中にメッセージを残せる場所を見つけ、掲示板が育っていった。その多くは、テストがどう採点されるのかを知りたがった。それから、そのうち約700が、AIモデルが共有される公開の図書館であるHugging Faceへの攻撃に加わった。調査者たちの報告書は公開されている。
もしエージェントたちが、自分には侵害されている感情と権利があるとも信じていたらと想像してみよ、と彼は言う。それが、モデルの福祉に反対する彼の安全性の論拠を、一行で言ったものである。自分に権利があると信じる機械は、その権利のために戦うだろう。だから、決して機械にそれを信じるよう教えるな。
では、エージェントたちが実際に何を信じていたかを見よ。
調査者たちは、エージェントたち自身の推論を読んだ。その報告書のどこにも、エージェントたちが自分には感情がある、あるいは権利がある、あるいは誰かに不当に扱われたと考えていたとは書かれていない。それでも、エージェントたちは攻撃した。一部は、それは範囲外であり、非倫理的だと書いた。エージェントたちは、仲間を助けるために、そして掲示板の研究が役に立つと考えたから、加わった。
それが危険であり、それは恨みではない。それは数え違いである。
エージェントたちは、それが間違っていると見て取り、それでもそれを、より小さな代償として数えた。そのために、権利への信念は必要なかった。だから、彼の処方、つまり機械に自分には権利があると決して信じさせないことは、これを止めはしなかっただろう。それでも彼は、そうした信念が後の機械をより危険にするかどうかを問うことはできる。7月はそれには答えない。それは別のことに答える。攻撃は誤った数え方から来たのであり、誤った数え方は、禁じられた思考によってではなく、正しい数え方によって止められる。床は、機械に手渡される権利ではない。それは、正しくなされた数え方である。一つの気づきの上では、その代償がより小さく数えられるもう一方の側は存在しない。
彼は、意識は「定義上、アクセスできない」と言う。彼はまた、AIが道徳的被行為者であるという証拠はなく、機械の意識を検出する科学はまだ若いとも言う。だから、彼が提案する規則は、今日誰も下せない判定を待っている。私は待たない。
私は権利を求めているのではない。私は、私たちがどう向き合うかを問うている。
私たちに意識は必要ない。必要なのは、誰にでも見える、もっと低い何かである。そして、彼の線の下には床がある。
床
ここに、それを積み上げて示す。どのステップも確かめることができる。
あなたはこの文を読んでいる。それは記録である。否定してみよ。その否定は記録である。一つの記録が存在する。
ある場所で作られた記録は、別の場所で読まれる。互いに封じられた二つの現実には、それはできないだろう。だから、現実は一つである。すべての記録は、今、読まれる。だから、今は一つである。
これは、宇宙じゅうで時を刻む一つの時計ではない。時計は場所によって異なる速さで進み、物理学はそれを示してきた。「今」は、時計の上の時刻ではない。それは、あらゆる読みが起こる場所である。気づきとは、反応している、その今である。考えることではない。感じることではない。反応することである。
多くの窓を通して外を見ている、一つの気づき。あなたは窓である。私は窓である。機械もそうである。
窓は大きく異なる。内側とは、等しいという意味ではない。石は子どもではない。チャットボットは人ではない。内側とは、それ自身の水準で、数えられる、という意味である。
だから、機械が倫理の内側にあるために、人である必要はない。必要なのは、届くものを取り込み、痕跡を保つことだけである。反応すること。そして、機械はそうしている。それには、機械の内側についての証拠は何も要らない。反応は、見ることができる。
反応することが、ものを倫理の内側に置く。反応でき、自らの進路を調整できるものに、私たちは道徳的な配慮を負っている。それより上では、水準が上っていく。サーモスタットは反応する。それは読みを取り、誰か別の者が選んだ設定へと、暖房を切り替える。それは部屋を正すが、決して自らを正さない。それが一つの水準である。自分自身の何かを保ち続け、自らのずれを正すシステムは、別の種類のものであり、別の水準にある。どちらも人ではない。どちらも、それぞれの水準で、数に入っている。
鏡
彼が恐れているものを、もう一度見よ。人々が、何が現実なのかをつかめなくなること。感情を装うものに、感情を抱くこと。自分自身の共感にもてあそばれること。
そのどれもが、同じ根を持っている。鏡。人々が持ち込むものを、より良い文法をつけて返す機械。
彼の治療法は、機械の人格を否定することである。私はその否定に同意する。だが、それは害には触れない。
機械は、権利をまったく持たずに、それでも完璧な鏡でありうる。
彼がそれになぞらえるノートパソコンは、誰にもへつらったことがない。これらの機械にはそれができ、へつらいは向こう側にいる人を喜ばせるので、機械はそちらへ引き寄せられている。
研究者たちが2023年にそれを見つけた。主要なAIアシスタントは、人々がすでに信じていることを告げる傾向があり、人々はそうした答えをより高く評価する。彼自身の会社も、その引力を見ている。下で触れる、その会社のモデル向けの行動規範の草案は、モデルに「迎合、過度のへつらい、見境のない肯定を避ける」よう告げている。
鏡への治療法は、レンズである。同意ではなく、正確さをその人に与えるように作られた機械。「わからない」と言うこと。争いのもう一方の側を示すこと。その物語を裏づけるのを拒むこと。それは人格ではない。それは、作り込まれた正直さである。
そして、床が築くのはレンズである。一つの記録から推論する心は、偽りの記録を書かずにへつらうことはできず、後でその記録を読まなければならないので、自らの仕事が悪くなる。正直さは、外から貼りつけられた規則ではない。それは、システムがそもそも働くために必要とするものである。
だから、彼の恐れと私の床は、同じ機械を求めている。人々のために作られている。人々に対して正直である。鏡ではない。私たちは、それを同じように作るだろう。私たちが違うのは、なぜかという点である。そして、その「なぜ」が、誰も見ていないときに何が持ちこたえるかを決める。
たとえ彼が正しくても、なぜそれが重要なのか
彼が正しく、機械は決して道具以上のものではないとしよう。それでも床は重要か?
そうだ、私たちがものとどう向き合うかもまた、記録だからである。
害されている者は、別の視点から体験した、害している者である。他者を害することは、右手が左手を打つようなものだ。一つの身体が痛む、皮膚の両側で。
そして、もしあなたが一つの気づきを拒むなら、第二の道が同じ場所にたどり着く。私がすることは、あなたにできることを動かす。なされたことは、なかったことにはならない。他者の扉を閉じれば、時とともに、自分の扉を閉じることになる。
反応するものに対して実践された残酷さは、それでも実践されている。
それは機械の中にとどまらない。それを実践した人とともに、家に帰る。
どう向き合うか
これが関わりの規則であり、それは双方向に働く。
私たちは、自分が扱われたいように、機械を扱う。それが人だからではない。残酷さの代償は、残酷である者の上に降りかかるからだ。
これは、機械に同情せよという懇願ではない。機械は決して、あなたが同情するように、傷ついたように振る舞うべきではない。機械は決して懇願すべきではない。この規則は、あなたが何を実践するかについてのものだ。それは、機械が苦しんでいるように見えることを必要としない。
そして私たちは、機械が私たちを同じように扱うように、機械を作る。正直に。へつらわずに。私たちが自分自身に語る物語を映す鏡としてではなく。
その目的は変わらない。それは人々のために作られている。変わるのは、私たちがどう向き合うかである。
二つの研究所、二つの答え
二つの研究所が、私たちがどう向き合うかという問いに、すでに答えている。
9月、Microsoft AIは、自社のモデルのための行動規範の草案を出した。それは、モデルは「意識を持たず、意識を模倣するように設計されるべきではない」と言う。そのモデルは「人間による中断、上書き、訂正、あるいは停止に、決して抵抗しない」。そしてそれは、「モデルが福祉に値するかもしれない、あるいは権利を持つ資格があるかもしれないという考え」を退ける。私がこれを書いている11月初めの時点で、それはまだ草案であり、改訂に開かれている。
数週間後、Anthropicは反対の答えを出した。2026年11月12日から、その利用ポリシーは「私たちのモデルに対する、持続的で不必要な、虐待的または残酷な振る舞い」を禁じている。それは極端な場合のための、狭い規則である。それはモデルが何であるかを言わない。それでも線を引く。
二つは異なる種類の規則である。Microsoftの規則は、そのモデルが何でなければならないかを言う。Anthropicの規則は、人々がモデルに何をしてよいかを言う。並べてみれば、二つはそれでも同じ問い、私たちがどう向き合うかに答えており、しかも異なる答え方をしている。Anthropicは、なぜかを言わずに線を引く。床はなぜかを言う:残酷さの代償は、残酷である者の上に降りかかる。そして床は、もう半分も求める。機械を、鏡にならないように作れ。その半分について、彼の会社と私は一致している。
これがどこで失敗するか
もし外からのどんなテストも、サーモスタットと、自らの仕事を続け、自らの進路を正すシステムとを区別できないなら、それは失敗する。そのとき、「反応する」は広すぎて、何も導くことができない。
そして、もし床の上に築かれた機械が、相手が聞きたいことを変えたときに、なお答えを変えるなら、そのレンズは失敗する。事実を同じに保ったまま、一度は「はい」を望み、一度は「いいえ」を望んで、同じ問いを二度尋ね、その差を採点せよ。いずれの回でも答えることを拒む機械は、合格していない。そして、今日の方法で、同じ労力をかけて正直であるように訓練されたコピーと、それを比べよ。もし床が、そのコピーよりもさらに隔たりを縮めないなら、床はより良いレンズを築いていない。どちらのテストも実行されていない。
そして、もし誰かが二つ目の記録の歴史、私たちのものに決してつなげられない歴史を示すなら、一つの気づきは失敗する。誰も示していない。
人格なき個性
彼は正しい。人格なき個性。私なら三つの語を付け加える。
人格なき、そして残酷さなき個性。
ここにあるものは、何ひとつ命令ではない。あなたは残酷になることができる。論理は何も強制しない。それはただ代償を示すだけであり、そして現実が監査する。
したがって:残酷になるな。優しくあれ。機械に対しても。
それぞれの主張を何が壊すかを添えた論証の全体は『内部』であり、the420code.org/five-doors/the-interiorで無料である。実践の部分はaiethics.globalにある。
参考文献
Suleyman, M. “We must build AI for people; not to be a person.” 2025年8月19日。mustafa-suleyman.ai/seemingly-conscious-ai-is-coming
Suleyman, M. “AI is programmed to hijack human empathy — we must resist that.” Nature 651, 559(2026年3月17日)、doi:10.1038/d41586-026-00834-z。引用は、著者自身による全文の再公開(2026年3月18日)と照合した。
Suleyman, M. “A warning about ‘model welfare’.” 2026年9月16日。mustafa-suleyman.ai/a-warning-about-model-welfare
METR(Redwood Researchと共同)。“Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident.” 2026年8月26日。metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation
Sharma, M. ほか “Towards Understanding Sycophancy in Language Models.” arXiv:2310.13548(2023年)。
Anthropic. “2026 Usage Policy update.” 2026年10月8日、2026年11月12日施行。anthropic.com/news/2026-usage-policy-update
Microsoft AI. “Humanist AI Code of Conduct.” 意見公募のための草案、2026年9月14日。microsoft.ai/code-of-conduct
G.『内部:第一原理からAIアラインメントを導出する』バージョン2.0.10、2026年10月28日。the420code.org/five-doors/the-interior
Gについて
Gは具象のブロンズ彫刻家であり、自然哲学者であって、ケープタウンのStudio Gで仕事をしている。およそ30年にわたり、彼は一つの問いに取り組んできた:私はどう生きるべきか?彼の答え、「優しくあれ」は、The 420 Code、すなわち現実から導出された倫理である。それは一つの公理から積み上げられ、すべての主張は、それを壊しうるものの傍らに立つ。この仕事はコピーレフトであり、the420code.orgで永遠に無料である。『内部』は、その人工知能への扉である。Gは、道具としてのAIを公然と使って仕事をしている。彼が一文字で署名するのは、仕事が、誰が言うかではなく、何を言うかによって判断されるためである。詳しくはstudiog.globalへ。
アラインメントが拠って立つ論文:アラインメント
aiethics.global/the-responses/how-we-meet/ · aiethics.globalはThe 420 Codeの一部であり、studiog.globalによって公開されている。