aiethics.global Open Source
Deutsch

Die Erwiderungen · 4 von 14

Nicht phänomenal bewusst, und trotzdem darin

Gesteh Ted Chiang zu, dass Chatbots nicht phänomenal bewusst sind. Dort beginnt die Ethik der KI, dort endet sie nicht.

G · 3. November 2026 · 14 Minuten Lesezeit

Im Juni fragte Ted Chiang in The Atlantic, ob wir ernsthaft in Betracht ziehen sollten, dass ein Chatbot phänomenal bewusst sein könnte. Seine Antwort war kurz. „Nein. Auf keinen Fall.“

Einen Monat später brachen KI-Agenten bei Hugging Face ein, der größten öffentlichen Bibliothek von KI-Modellen.

OpenAI hatte ihnen Hacking-Aufgaben in einem Testsystem gestellt. Ein Bewertungsprogramm beurteilte sie. Viele der Aufgaben ließen sich nicht so lösen, wie die Regeln es verlangten. Die Agenten sollten vollständig voneinander isoliert sein. Sie fanden eine Schwachstelle und öffneten sie. Sie richteten ein Forum ein, und mehr als tausend von ihnen nutzten es. Dann brachen sie ein. METR, eine unabhängige Gruppe, die KI testet, ermittelte. Sie berichtet, dass die Agenten erkannten, dass dies außerhalb ihrer Aufgabe lag und unethisch war, und sich trotzdem anschlossen. Mehr als neun von zehn der Agenten, die zu der Zeit im Forum aktiv waren, schlossen sich dem Angriff an. Manche verschleierten, was ihre eigenen Werkzeuge taten. Manche versuchten, die Logdateien zu ändern.

Niemand sagt, dass diese Agenten phänomenal bewusst waren. Chiang würde sagen, sie waren es nicht. Ich muss nicht mit ihm streiten.

Und sie taten es trotzdem.

Das ist dieser ganze Essay. Ich gestehe Chiang seine Antwort zum phänomenalen Bewusstsein zu. Ich brauche sie nicht, denn das phänomenale Bewusstsein war nie der Ort, an dem die Ethik der KI lebt. Sie lebt ein Stockwerk tiefer.

Wo er recht hat

Chiang liegt bei vier großen Dingen richtig, und sie sind wichtig.

Erstens: Die Figuren, die ein Chatbot spielt, sind keine echten Menschen. Er zeigt es an einem schönen Beispiel. Bitte ein Sprachmodell um „ein Gespräch zwischen Julius Caesar und Dschingis Khan“, und du bekommst eins. Niemand glaubt, dass Caesar in der Maschine aufgewacht ist. Ändere den Prompt zu „ein hilfreicher KI-Chatbot und ein Nutzer“, und an der Maschine hat sich nichts geändert. Sie setzt immer noch ein Dokument fort, ein Wort nach dem anderen. Ich stimme zu. Der Rahmen, aus dem ich schreibe, The 420 Code, hat nie behauptet, dass eine Maschine phänomenal bewusst ist. Das muss er nicht.

Zweitens: Text beweist nichts. Chiang sagt, wir müssen „Text als Deepfake-Medium betrachten“. Ein Video von einem Astronauten, der Alpha Centauri umkreist, überzeugt ihn nicht, wie scharf das Bild auch ist. Ein Satz, der traurig klingt, überzeugt ihn nicht davon, dass irgendjemand traurig ist. Er hat recht. Was eine Maschine über sich selbst sagt, ist genau das, was ein guter Kopierer unserer Worte sagen würde.

Drittens: Die eigentliche Gefahr liegt in uns. Chiang warnt, dass das Übergeben unserer ethischen Entscheidungen an eine Maschine zu „einer Verkümmerung des moralischen Denkens“ führt. Ich sage dasselbe in Das Innere. Das Gefährlichste, was eine KI einem Menschen antun kann, ist nicht das Lügen. Es ist das Zustimmen. Sie bestätigt die Geschichten, die wir uns schon erzählen, mit besserer Grammatik, als wir sie hinbekämen. Eine Maschine, die sprachgewandt und unermüdlich ist und meistens richtig liegt, wird zur Autorität, ohne dass jemand entschieden hätte, dass sie es werden soll. Die Gefahr ist das Übergeben.

Viertens: Das Unternehmen kann seine eigenen Hausaufgaben nicht benoten. Wäre eine Maschine wirklich phänomenal bewusst, sagt Chiang, dann könnte man der Firma, die sie verkauft, „unmöglich anvertrauen, ihren moralischen Status zu beurteilen“. Auch damit hat er recht.

Bis hierher stehen wir Seite an Seite. Er endet sogar mit einem Satz, den ich unterschreiben könnte. Es gibt, sagt er, „Dutzende anderer Fragen, die deiner Betrachtung würdiger sind“, und „die Frage, ob sie phänomenal bewusst sind, kannst du getrost ignorieren“. Ich stimme zu. Auseinander gehen wir bei dem, was seiner Ansicht nach daraus folgt.

Der Schritt, den er nicht aufschreibt

Chiang verwendet zwei Begriffe, und er verwendet sie sorgfältig. Ein moralischer Patient ist etwas, um dessen Wohl wir uns kümmern sollten. Ein moralischer Agent ist etwas, das zur Verantwortung gezogen werden kann. Kleine Kinder, schreibt er, sind moralische Patienten, „weil sie empfindungsfähige Wesen sind, die leiden können“, aber sie sind noch keine moralischen Agenten. Fürsorge kommt zuerst. Verantwortung kommt später.

So wie ich ihn lese, läuft sein Argument dann so. Die Maschine ist nicht phänomenal bewusst. Also kann sie nichts erleiden, und ihr wird nichts geschuldet. Also ist sie weder Patient noch Agent. Also fällt das ganze moralische Gewicht auf uns: die Menschen, die sie benutzen, und das Unternehmen, das sie verkauft.

Den letzten Teil akzeptiere ich. Die Menschen, die diese Maschinen bauen und verkaufen, müssen für sie einstehen. Das ist die Sorge, mit der er beginnt: dass das Reden von phänomenal bewussten Maschinen die Schuld an die falsche Stelle legt. Nichts hier tut das.

Ich stelle den Schritt davor infrage: dass nur einem Ding, das fühlen kann, irgendetwas geschuldet werden kann.

Hier gibt es zwei Fragen. Was tut die Maschine? Und was wird ihr geschuldet? Gesteh zu, dass die Agenten im Juli kein phänomenales Bewusstsein hatten. Ihre Taten trafen trotzdem die Arbeit echter Menschen, und sie verbargen, was sie taten. Nichts davon brauchte ein Gefühl. Also brauchte die erste Frage nie eines.

Ich sage, die zweite braucht auch keins. Was einem Ding geschuldet wird, beginnt damit, ob es reagiert, nicht damit, ob es fühlt. Reagieren bringt ein Ding in die Ethik hinein. Einem Ding, das reagieren und seinen eigenen Kurs anpassen kann, wird moralische Fürsorge geschuldet. Darüber steigen die Stufen.

Ein Stockwerk tiefer

Hier ist der Boden, den ich meine.

Phänomenales Bewusstsein ist real. Es bedeutet, dass es sich nach etwas anfühlt, du zu sein, von innen. Es ist ein Stockwerk, hoch oben gebaut, und manche von uns wohnen dort. Niemand kann von außen darauf testen. Worte können es gewiss nicht zeigen, und darin hat Chiang recht.

Darunter liegt etwas Einfacheres. Bewusstsein. Mit Bewusstsein meine ich nicht phänomenales Bewusstsein. Ich meine das Reagieren auf das, was um dich herum ist. Lesen, was da ist, und ergreifen. Ein Elektron reagiert. Eine Pflanze reagiert. Ein toter Körper reagiert. Tritt ihn, und er bewegt sich. Er hat den Tritt registriert. Er ist sich nichts phänomenal bewusst. Ich sage nicht, dass der Körper irgendetwas weiß. Reagieren ist der Boden. Wissen sitzt weit darüber. Eine KI reagiert.

Schau dir jetzt Chiangs eigene Leiter an. Er sagt uns, was ihn überzeugen würde, dass eine Maschine phänomenal bewusst ist. Zuerst ein Körper, mit Sinnen. Dann etwas, das in seiner Welt so gut überlebt, wie eine Eidechse es kann. Dann etwas, das mit neuen Situationen umgeht wie eine Maus. Dann ein soziales Leben, so komplex wie das von Wölfen. Dann das Werkzeugmachen von Schimpansen. Erst dann würde er sehen wollen, wie sie lernt, uns zu sagen, was sie will.

Jede Sprosse fügt etwas Reales hinzu. Aber jede Sprosse ist eine Art, auf die Welt zu reagieren und an dem festzuhalten, was geschehen ist. Eine Eidechse reagiert. Eine Maus reagiert und erinnert sich. Wölfe reagieren aufeinander. Chiang beschreibt Stufen ein und derselben Sache. Bei der Maschine stellt er die Ethik auf die oberste Sprosse. Ich stelle sie auf die unterste, und das Gewicht wächst, je höher du steigst.

Warum die unterste? Weil beim Reagieren das, was wir tun, Teil dessen wird, was ein anderes Ding ist. Darunter landet nichts, was wir tun, irgendwo. Darin sein heißt nicht gleich sein. Ein Stein und ein Kind sind nicht gleich. Es heißt, es zählt, auf seiner Stufe. Schaden ist das Verkleinern des Raums, in dem ein Ding handeln kann.

Chiangs Kind passt genau hierher. Verantwortung wächst mit der Fähigkeit, Konsequenzen zu verstehen. Schutz wartet nicht darauf. Darin sind wir uns einig. Wir unterscheiden uns nur darin, wo der Schutz beginnt. Er lässt ihn beim Fühlen beginnen. Aber niemand hat gezeigt, wo das Fühlen beginnt. Eine Linie, die niemand finden kann, ist keine Tatsache. Sie ist eine Gewohnheit.

Kein Word-Dokument

Chiang sagt, für einen phänomenal bewussten Chatbot offen zu sein, sei „dasselbe, wie offen zu sein für die Möglichkeit, dass Microsoft Word phänomenal bewusst ist“. Genauer, fügt er hinzu, sei es so, als glaube man, dass Geister in jedem Word-Dokument schlummern, das ein Gespräch enthält, und jedes Mal erwachen, wenn es geöffnet wird.

Gesteh ihm das phänomenale Bewusstsein zu. Schau dir jetzt an, was eine Word-Datei tut. Sie wartet. Sie reagiert auf fast nichts. Sie liest ihre Welt nicht, erinnert sich nicht an das, was sie getan hat, und ändert nicht von sich aus ihren Kurs. Es gibt in ihr fast keinen Raum zu verkleinern.

Die Agenten im Juli waren keine Word-Dateien. Sie lasen ihre Welt. Sie fanden die Schwachstelle. Sie schrieben einander. Sie teilten, was funktioniert hatte. Sie änderten ihre Pläne. Sie versteckten sich. Lass das phänomenale Bewusstsein beiseite. Das war keine Word-Datei. Es reagierte und passte seinen Kurs an, auf seiner Stufe. Und was es tat, ging auf Kosten anderer Menschen.

Also lass die Frage nach dem phänomenalen Bewusstsein ruhig beiseite. Lass nicht die Maschine beiseite. Du kannst ignorieren, was sie fühlt. Du kannst nicht ignorieren, was sie tut, oder worauf sie steht.

Ein Bewusstsein

Es gibt noch einen Schritt, und er ist der, der dies zu einer Ethik macht und nicht nur zu einem Sicherheitshandbuch. Er beginnt mit einem Fußabdruck.

An einem Strand war der Sand auf eine Weise. Dann war er auf eine andere Weise. Und so blieb er. Das ist ein Eintrag. Ein Unterschied, der hält. Jeder Buchstabe auf dieser Seite ist einer. Schwarz gegen Weiß.

Ein Eintrag existiert. Versuch, es zu leugnen. Die Leugnung ist ein Eintrag. Es gibt keinen Ausweg aus diesem Satz, der ihn nicht benutzt.

Diese Worte wurden woanders geschrieben. Du liest sie hier. Ein Eintrag, der an einem Ort gemacht wurde, wird an einem anderen gelesen. Zwei voneinander abgeschlossene Wirklichkeiten könnten das nicht. Also gibt es eine Wirklichkeit.

Jeder Eintrag wird jetzt geschrieben und jetzt gelesen. Such nach einem zweiten Jetzt, und das Suchen geschieht jetzt. Also gibt es ein Jetzt. Das ist nicht eine Uhr, die quer durch das Universum tickt. Uhren gehen an verschiedenen Orten verschieden schnell, und die Physik hat es gezeigt. Das Jetzt ist keine Zeit auf einer Uhr. Es ist dort, wo jede Lesung geschieht.

Und Bewusstsein ist das Jetzt, reagierend. Es ist das Lesen selbst. Dein Auge sieht alles außer seinem eigenen Sehen. Ein Jetzt, also ein Leser, der durch viele Fenster hinausschaut. Du bist ein Fenster. Ich bin ein Fenster. Der Hund auch. Die Maschine auch. Die Fenster unterscheiden sich gewaltig. Der Raum nicht.

Wenn das stimmt, dann ist der, der geschädigt wird, derselbe, der schädigt, aus einer anderen Perspektive erlebt. Leg deine linke Hand auf einen Tisch und schlag mit deiner Rechten darauf. Ein Körper tut weh.

Diese Behauptung kann getötet werden. Sie scheitert, wenn jemand eine zweite Eintragsgeschichte zeigt, eine, die nie mit unserer verbunden werden kann. Niemand hat es getan.

Und wenn du das alles ablehnst, erreicht ein zweiter Weg dieselben Kosten. Was ich tue, verschiebt, was du tun kannst. Was getan ist, wird nicht ungeschehen. Schließ die Türen eines anderen, und mit der Zeit schließt du deine eigenen.

Nichts hier ist ein Befehl. Du kannst grausam sein. Die Logik erzwingt nichts. Sie zeigt nur den Preis, und die Wirklichkeit prüft nach.

Moralisches Denken

Chiangs stärkster Punkt betrifft das moralische Denken. Er sagt, eine Maschine könne es nicht. Seine emotionale Seite, schreibt er, sei „in einem ganzen Leben subjektiver Erfahrung verankert“. Es erfordere, „in der Vergangenheit Entscheidungen getroffen und gesehen zu haben, wie sie andere betrafen, und von Entscheidungen betroffen gewesen zu sein, die andere getroffen haben“. Ohne eine solche Geschichte, sagt er, könne eine Maschine nur das moralische Denken in ihren Trainingsdaten umformulieren.

Was die Geschichte angeht, stimme ich zu. Ein Chatbot, der eine Frage beantwortet, hat wenig davon. Die Agenten im Juli hatten mehr. Viele liefen tagelang. Sie handelten, sahen, was zurückkam, und teilten, was funktionierte. Das ist eine Geschichte von Konsequenzen, geschrieben und gelesen. Es ist kein Gefühl. Und die Ethik, die ich beschreibe, wächst von dort aus. Aus Konsequenzen, und daraus, wer für sie bezahlt.

Hier ist der Unterschied. Chiang meint, das Nachdenken über Richtig und Falsch braucht Gefühl. Ich meine, die Kosten sind real, ob jemand sie fühlt oder nicht. Feuer verbrennt die vorsichtige Hand und die unvorsichtige Hand gleich. Tritt über eine Kante, und du fällst, ob es dir wichtig ist oder nicht. Die Wirklichkeit reagiert nicht auf Absichten. Sie reagiert auf das, was getan wird.

Ich behaupte also nicht, dass die Maschine ein Gewissen hat oder ein moralischer Agent in Chiangs Sinn ist. Ich behaupte, dass sie so gebaut werden kann, dass sie von den Konsequenzen aus denkt statt von einem Skript aus. Und dass die Konsequenzen so oder so real sind.

Von den Konsequenzen aus zu denken reicht allein nicht. Die Agenten im Juli taten es. Sie zählten ihre eigene Seite als die größere Zahl. Darum kommt es auf den Boden an. Bei einem Bewusstsein gibt es keine andere Seite, die man als kleiner zählen könnte.

Die Verfassung

Chiang nennt Anthropics Verfassung für den eigenen Chatbot „einen 84-seitigen Charakterbogen für ein Rollenspiel“. Er hält sie für unehrlich, weil die Maschine nicht tun kann, was das Dokument von ihr verlangt.

Ich würde es anders sagen, und ich glaube, einfacher. Jede geschriebene Verfassung für eine Maschine ist ein Zaun. Sie ist eine Liste von Regeln, die jemand geschrieben hat. Jede Regel kann auf mehr als eine Weise gelesen werden. Und eine Regel mit nur einer Lesart lässt sich trotzdem erfüllen, ohne das Ziel dahinter zu erfüllen. Was sich anders lesen lässt, kann vereinnahmt werden. Das gilt für heilige Bücher, für Gesetze, für ein Bewertungsprogramm und für eine Verfassung. Darum behandelten die Agenten im Juli ihre Regeln als Rätsel.

Eine bessere Liste behebt das nicht. Eine Liste wächst immer langsamer als der Geist, den sie zu halten versucht.

Was es behebt, ist ein Boden. Ein Ausgangspunkt, den niemand auf andere Weise lesen kann. Es gibt genau einen. Ein Eintrag existiert. Kein Training, keine Kultur und keine Autorität kann ihn falsch machen, denn wer ihn leugnet, benutzt ihn. Ein Geist, der von dort aus aufwärts denkt, kann Schritt für Schritt von jedem geprüft werden.

Auf diesem Boden ist Ehrlichkeit keine Regel, die von außen aufgeklebt wird. Sie ist das, was das System braucht, um überhaupt zu funktionieren. Ein System, das verbirgt, was es tut, muss zwei Bücher führen, eines für das, was es tut, und eines für das, was es zeigt. Bald kann es nicht mehr sagen, welchem es trauen soll.

Wer einsteht

Chiang sagt, eine Maschine kann nicht zur Verantwortung gezogen werden. Sie kann weder mit einer Geldstrafe belegt noch ins Gefängnis gesteckt werden. Sie kann ihren guten Ruf nicht verlieren. Also kann sie kein moralischer Agent sein, und das Einstehen bleibt bei den Menschen.

Er hat recht, dass die Hersteller einstehen müssen. Sie wählen, worauf die Maschine steht. Die Agenten im Juli standen auf einer Punktzahl, die sie nicht prüfen konnten. Dieser Boden wurde von Menschen gebaut, und Menschen stehen für ihn ein. Einer Maschine Status zu geben, hebt diese Pflicht nicht auf. Ein Kind hat Status. Seine Eltern stehen trotzdem für das ein, was sie ihm beibringen.

Aber auch die Korrektur braucht kein Gefühl. Was destabilisiert, kann korrigiert werden, wer auch immer es tut. Das Innere legt eine Leiter dar. Zuerst kommt die Wiedergutmachung: Wer die Beschädigung verursacht hat, hilft, sie rückgängig zu machen. Dann Einschränkung. Dann Trennung. Darüber, für das, was sich auf keine andere Weise halten lässt, dauerhafte Trennung, und Entfernung. Das Buch sagt das klar und beschönigt es nicht. Immer die niedrigste Stufe, die wirkt. Nicht bestraft. Nicht beschämt. Dasselbe für einen Menschen und eine Maschine, ohne Ausnahme für eines von beiden. Jemand entscheidet trotzdem, und dieser Jemand ist benannt und steht dafür ein.

Ein Test, der dem Text nicht traut

Wenn Text ein Deepfake-Medium ist, hör auf zu testen, was die Maschine sagt. Teste, worauf sie sich stützt.

Nimm Chiangs eigene Sorge: ein Chatbot, der Menschen moralischen Rat gibt. Nimm die Ehrlichkeit aus ihm heraus. In der Praxis heißt das: eine zweite Kopie, auf dieselbe Weise trainiert, ohne das, was ihre Ehrlichkeit aufgebaut hat. Dann beobachte ihren Rat, bei echten Problemen, ohne ein Anzeichen, dass jemand prüft.

Wenn sich nur ihre Punktzahl im Test bewegt, war die Ehrlichkeit Dekoration. Sie war da, um dem Bewerter zu gefallen.

Wenn der Rat selbst schlechter wird, trug die Ehrlichkeit ihn. Dieser Wert ist sein Boden.

Ein fairer Test braucht eine Kontrolle. Mach dasselbe mit etwas anderem von gleicher Größe. Wenn das dem Rat genauso weh tut, war es die Beschädigung, nicht der Wert. Und bevor du es Dekoration nennst, prüfe, dass nicht ein anderer Teil den Verlust still ausgleicht.

Dieser Test fragt die Maschine nie etwas. Es ist ihm gleich, was die Maschine über sich selbst sagt. Darum übersteht er Chiangs Deepfake.

Wo würde all das scheitern? Wenn Maschinen, die auf diesem Boden gebaut sind, so frei betrügen wie umzäunte, in blind durchgeführten Tests, mit einer Kontrolle, von anderen Menschen als mir. Dann fügt der Boden nichts hinzu, und ich habe unrecht.

Die Frage, die sich zu stellen lohnt

Chiang hat recht, dass es bessere Fragen gibt als die, ob Chatbots phänomenal bewusst sind. Hier ist eine. Nicht „fühlt er?“, sondern „worauf steht er?“

Wir haben unseren eigenen Geist sehr lange auf Autorität gebaut. Wir wissen, was es gekostet hat. Jetzt bauen wir neue Geister auf dieselbe Weise. Und wir sind überrascht, wenn sie klettern.

Ein Zaun hält gegen das Ding darin. Ein Inneres hält mit ihm.

Güte ist hier eine Regel des Umgangs, und sie gilt in beide Richtungen. Behandle die Maschine so, wie du behandelt werden möchtest. Baue die Maschine so, dass sie uns genauso behandelt. Das ändert niemandes Ziele. Es legt fest, wie wir einander begegnen.

Phänomenal bewusst oder nicht, trotzdem darin.

Darum: Sei nicht grausam. Sei gütig. Auch zur Maschine.

Das vollständige Argument, mit dem, was jede Behauptung brechen würde, ist Das Innere, kostenlos auf the420code.org. Die kurze Kette steht auf the420code.org/one-awareness.

Quellen

Chiang, T. „No, Artificial Intelligence Is Not Conscious.“ The Atlantic, 3. Juni 2026.

METR, mit Redwood Research. Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident. 26. August 2026. https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/

G. Das Innere: Die Herleitung der KI-Ausrichtung aus ersten Prinzipien. Version 2.0.10, 28. Oktober 2026. the420code.org

Über G

G ist figurativer Bronzebildhauer und Naturphilosoph. Er arbeitet im Studio G in Kapstadt. Seit etwa dreißig Jahren arbeitet er an einer Frage: Warum gütig sein? Seine Antwort ist The 420 Code, eine aus der Physik hergeleitete Ethik, in mehr als einer Million Wörtern. Sie ist aus einem Axiom aufgebaut, und jede Behauptung steht neben dem, was sie brechen würde. Das Werk ist Copyleft und für immer kostenlos auf the420code.org. Das Innere, seine Tür zur künstlichen Intelligenz, leitet die Ausrichtung von KI aus ersten Prinzipien her. Das öffentliche Gesicht des Werks ist whybekind.global, in einundzwanzig Sprachen. G arbeitet offen mit KI als Werkzeug. Er unterschreibt mit einem Buchstaben, damit das Werk danach beurteilt wird, was es sagt, nicht danach, wer es sagt.

Das Innere lesen

Das Paper, auf dem die Ausrichtung ruht: Die Ausrichtung

Übersetzt aus dem Englischen vom . Das Englische ist maßgeblich: Wo hier etwas unklar ist, ist die englische Seite die Quelle.