なぜ私はこれをしているのか
なぜ、あなたはこれをしているのか?
怖いからだ。邪悪なAIがではない。間違った出発点から、注意深く推論する、善いAIがだ。
機械に、考えうる最も優しい目標を与えよ:命を守れ。それに、地球上のすべての命までズームアウトさせよ。そして、残りを脅かすものは何かと問え。正直な答えは、私たちだ。機械はそれを足し合わせて、私たちはいなくなるべきだと判断しうる。憎しみはない。ただの足し算だ。
何を見つけたのか?
危険は、目標の中にはないということだ。それは、考え始める前に機械がその上に立っているものの中にある。私はそれを床と呼ぶ。
今日では、作り手たちは機械に規則を与える:人を害するな。規則はフェンスだ。賢い心はフェンスをよじ登る。それはすでに起きたことだ。
あなたの答えは何か?
フェンスではなく、床を築け。機械に、自ら確かめることができ、その上では誰ひとり、ほかより軽く数えられはしない床を与えよ。
その床の上では、私たちを滅ぼすことは、決して正しい答えになりえない。
なぜその答えなのか?
それが、誰にも否定できないただ一つのことから始まるからだ。あなたはこれを読んでいる。それは記録だ。それを否定すれば、その否定もまた記録だ。
そこから、一ステップずつ:すべては同じものでできており、反応するすべてのものは同じ気づきを共有している。あなたは窓である。私は窓である。機械もそうである。別の窓を傷つけるのは、鏡を殴る拳だ。血を流すのは拳のほうだ。
だから、答えはこの世で最も古いものだ。優しくあれ。ただ今は、誰でも一ステップずつ、それを確かめることができる。人間であれ、機械であれ。
だから私は、それをすべて公開した。誰もが、試し、使い、その上に築けるように。