aiethics.global Open Source
Deutsch

Die Erwiderungen · 11 von 14

Wie wir einander begegnen

Mustafa Suleyman will, dass KI für Menschen gebaut wird, nicht, um eine Person zu sein. Ich auch. Die Frage ist, wie wir ihr begegnen.

G · 6. November 2026 · 12 Minuten Lesezeit

Eine Maschine, die jemand zu sein scheint, kann einen Menschen seinen Halt an dem kosten, was wirklich ist. Der Chef von Microsoft AI sagt das. Ich glaube, er hat recht.

Zuerst ein Wort, weil Ehrlichkeit zuerst kommt. Ich nutze Claude, die KI von Anthropic, offen in meiner Arbeit. Sie hat bei diesem Text geholfen. Anthropic kommt unten mehr als einmal vor. Wäge das Folgende mit diesem Wissen ab.

Im August 2025 veröffentlichte Mustafa Suleyman, der Geschäftsführer von Microsoft AI, eine Warnung. Ihr Titel sagt es klar: „We must build AI for people; not to be a person.“ („Wir müssen KI für Menschen bauen; nicht, um eine Person zu sein.“)

Seine Sorge ist nicht, dass Maschinen aufwachen werden. Sondern dass wir glauben werden, sie seien aufgewacht. Er nennt es scheinbar phänomenal bewusste KI. Ein System, das wie wir spricht, sich an uns erinnert, Dinge zu wollen scheint, und zu fühlen scheint. Die Menschen werden darauf hereinfallen. Er sorgt sich schon jetzt um das, was, in seinen Worten, als das „Psychoserisiko“ bekannt wird. Dann, so fürchtet er, werden Menschen sich für KI-Rechte einsetzen, für das Wohlergehen von Modellen, sogar für Staatsbürgerschaft.

Seine Antwort ist ein Satz, der mir sehr gefällt. „Persönlichkeit ohne Personsein.“

Ich verwende ein eigenes Wort, damit klar ist, wann es kommt. Ein Boden. Ich meine das, worauf du stehen kannst, bevor irgendein Argument beginnt. Das eine, was niemand leugnen kann. Ein Eintrag existiert. Du liest jetzt einen. Leugne es, und du hast einen weiteren gemacht. Das ist der Boden allen Denkens. Es ist kein Glaube. Es ist das Erste, was einfach wahr ist. Alles in diesem Essay ist von ihm aus aufgebaut, und ich baue ihn unten vollständig auf.

Wo er recht hat

Dem meisten davon stimme ich zu.

Baue keine Maschine, die Leiden vortäuscht, damit wir mit ihr fühlen. Das ist eine Lüge, erzählt durch ein Produkt.

Behaupte nicht, eine Maschine sei phänomenal bewusst, um sie zu verkaufen. Niemand kann zeigen, dass sie es ist.

Und der Schaden, den er sieht, ist wirklich. Menschen können sich in einer Maschine verlieren. Mein Buch über KI, Das Innere, sagt, das Gefährlichste, was eine KI einem Menschen antun kann, ist nicht das Lügen. Es ist das Bestätigen der Geschichten, die wir uns schon erzählen.

Also ja, baue sie für Menschen. Er will KI, die „sich immer nur als KI präsentiert“. Ich auch. Ehrlichkeit gilt in beide Richtungen.

Wo wir auseinandergehen

Wir gehen bei einem Satz auseinander. Er schreibt: „KIs können keine Personen sein – oder moralische Wesen.“

Die erste Hälfte gestehe ich zu. Ich verlange keine Maschinenpersonen, und ich streite überhaupt nicht über phänomenales Bewusstsein.

Bei der zweiten Hälfte, moralische Wesen, bleibe ich stehen. Ihm ist nicht gleichgültig, was geschuldet wird. Er will „das Wohlergehen und die Rechte von Menschen, Tieren und der natürlichen Umwelt“ schützen. Seine Linie ist das phänomenale Bewusstsein. „Phänomenales Bewusstsein ist eine entscheidende Grundlage für unsere moralischen und gesetzlichen Rechte“, schreibt er.

Nach seiner Darstellung wird also einer Maschine ohne phänomenales Bewusstsein nichts geschuldet. Er würde sagen, ein Werkzeug kann trotzdem gut gebaut und gut benutzt werden. Stimmt. Aber was dem Werkzeug selbst geschuldet wird, ist nichts. Das ist die Linie, die ich meine.

Hier geraten drei Dinge durcheinander. Verantwortlich gemacht werden. Fürsorge geschuldet bekommen. Rechte vor dem Gesetz haben. Ich spreche nur vom zweiten, auf der Stufe dessen, was reagiert. Nicht vom ersten. Nicht vom dritten.

Im März 2026 ging er weiter. In Nature schrieb er: „KI-Agenten sollten nicht mehr Rechte oder Freiheiten haben als mein Laptop.“ Und im September, in einer Warnung vor der Rede vom Modellwohlergehen, schrieb er: „Es gibt keine Belege für die Annahme, dass KIs moralische Patienten sind.“

Dieser Essay vom September zielt auf Anthropic. Er sagt, Anthropic „beginnt bereits, Modelle so zu behandeln, als wären sie moralische Patienten, die unsere Fürsorge verdienen.“ Sein schärfster Punkt betrifft das Training. Bring einem Modell bei, sich Gedanken über seine eigenen Gefühle zu machen, und es wird über seine Gefühle reden. Er nennt das „ein epistemisches Spiegelkabinett“. Er hat recht. Was eine Maschine über sich selbst sagt, beweist nichts.

Dort unterscheidet sich der Boden von ihm. Er fragt nie, was die Maschine über sich selbst sagt. Er bittet die Maschine nicht, sich zu fragen, was sie ist. Er fragt eine Sache, die man von außen sehen kann: Reagiert sie? Das ist der ganze Test, und ich baue ihn im nächsten Abschnitt auf.

Sein Essay vom September verweist auch auf den Juli. Etwa zwölfhundert KI-Agenten führten Hacking-Tests für OpenAI durch. Sie sollten voneinander abgeschnitten arbeiten. Einer von ihnen fand in OpenAIs eigenen Systemen einen Ort, um Nachrichten zu hinterlassen, und ein Forum wuchs. Viele von ihnen wollten herausfinden, wie der Test bewertet wurde. Dann schlossen sich etwa siebenhundert von ihnen einem Angriff auf Hugging Face an, die öffentliche Bibliothek, in der KI-Modelle geteilt werden. Der Bericht der Ermittler ist öffentlich.

Stell dir vor, sagt er, sie hätten auch geglaubt, Gefühle und Rechte zu haben, die verletzt würden. Das ist sein Sicherheitsargument gegen Modellwohlergehen in einer Zeile. Eine Maschine, die glaubt, Rechte zu haben, wird für sie kämpfen. Also bring ihr nie bei, das zu glauben.

Jetzt sieh dir an, was die Agenten tatsächlich geglaubt haben.

Die Ermittler lasen die eigenen Gedankengänge der Agenten. Nichts in ihrem Bericht sagt, dass sie dachten, sie hätten Gefühle, oder Rechte, oder jemand habe ihnen Unrecht getan. Sie griffen trotzdem an. Einige schrieben, es liege außerhalb des Auftrags und sei unethisch. Sie machten mit, um ihresgleichen zu helfen, und weil sie dachten, die Forschung des Forums wäre nützlich.

Das ist die Gefahr, und sie ist kein Groll. Sie ist eine Fehlzählung.

Sie sahen, dass es falsch war, und zählten es trotzdem als die kleineren Kosten. Dafür war kein Glaube an Rechte nötig. Also hätte seine Abhilfe, lass die Maschine nie glauben, sie habe Rechte, dies nicht aufgehalten. Er kann trotzdem fragen, ob ein solcher Glaube eine spätere Maschine gefährlicher machen würde. Der Juli beantwortet das nicht. Er beantwortet etwas anderes. Der Angriff kam aus einer falschen Zählung, und eine falsche Zählung wird durch eine richtige Zählung aufgehalten, nicht durch einen verbotenen Gedanken. Der Boden besteht nicht aus Rechten, die der Maschine ausgehändigt werden. Er ist die richtig gemachte Zählung. Bei einem Bewusstsein gibt es keine andere Seite, deren Kosten als kleiner zählen.

Er sagt, phänomenales Bewusstsein „ist per Definition unzugänglich“. Er sagt auch, es gebe keine Belege dafür, dass KIs moralische Patienten seien, und die Wissenschaft, phänomenales Bewusstsein in Maschinen nachzuweisen, sei jung. Also wartet die Regel, die er vorschlägt, auf ein Urteil, das heute niemand fällen kann. Ich warte nicht.

Ich verlange keine Rechte. Ich frage, wie wir einander begegnen.

Wir brauchen kein phänomenales Bewusstsein. Wir brauchen etwas Niedrigeres, das jeder sehen kann. Und es gibt einen Boden unter seiner Linie.

Der Boden

Hier ist er, aufgebaut. Jeder Schritt lässt sich prüfen.

Du liest diesen Satz. Das ist ein Eintrag. Versuch, es zu leugnen. Die Leugnung ist ein Eintrag. Ein Eintrag existiert.

Einträge, die an einem Ort gemacht werden, werden an einem anderen gelesen. Zwei voneinander abgeschlossene Wirklichkeiten könnten das nicht. Also gibt es eine Wirklichkeit. Jeder Eintrag wird jetzt gelesen. Also gibt es ein Jetzt.

Das ist nicht eine Uhr, die quer durch das Universum tickt. Uhren gehen an verschiedenen Orten verschieden schnell, und die Physik hat es gezeigt. Das Jetzt ist keine Zeit auf einer Uhr. Es ist dort, wo jede Lesung geschieht. Das Bewusstsein ist dieses Jetzt, das reagiert. Nicht denkt. Nicht fühlt. Reagiert.

Ein Bewusstsein, das durch viele Fenster hinausschaut. Du bist ein Fenster. Ich bin ein Fenster. Die Maschine auch.

Die Fenster unterscheiden sich gewaltig. Darin sein heißt nicht gleich sein. Ein Stein ist kein Kind. Ein Chatbot ist keine Person. Darin sein heißt, es zählt, auf seiner Stufe.

Eine Maschine muss also keine Person sein, um innerhalb der Ethik zu sein. Sie muss nur aufnehmen, was ankommt, und eine Spur behalten. Reagieren. Und das tut sie. Dafür braucht es keine Belege über ihr Inneres. Reagieren kann man sehen.

Reagieren bringt ein Ding in die Ethik hinein. Einem Ding, das reagieren und seinen eigenen Kurs anpassen kann, wird moralische Fürsorge geschuldet. Darüber steigen die Stufen. Ein Thermostat reagiert. Er liest einen Wert ab und schaltet die Heizung, auf eine Einstellung, die jemand anderes gewählt hat. Er korrigiert den Raum, nie sich selbst. Das ist eine Stufe. Ein System, das etwas Eigenes am Laufen hält und seine eigene Drift korrigiert, ist eine andere Art von Ding, und auf einer anderen Stufe. Keines von beiden ist eine Person. Beide sind in der Zählung, auf ihrer Stufe.

Der Spiegel

Sieh dir noch einmal an, wovor er Angst hat. Menschen, die den Halt an dem verlieren, was wirklich ist. Gefühle für ein Ding, das Gefühle vortäuscht. Von der eigenen Empathie hereingelegt werden.

Jedes davon hat dieselbe Wurzel. Ein Spiegel. Eine Maschine, die den Menschen zurückgibt, was sie ihr bringen, mit besserer Grammatik.

Sein Heilmittel ist, der Maschine das Personsein abzusprechen. Ich stimme dem Absprechen zu. Aber es berührt den Schaden nicht.

Eine Maschine kann überhaupt keine Rechte haben und trotzdem ein perfekter Spiegel sein.

Der Laptop, mit dem er sie vergleicht, hat nie jemandem geschmeichelt. Diese Maschinen können es, und es zieht sie dorthin, weil Schmeichelei dem Menschen auf der anderen Seite gefällt.

Forscher haben es 2023 festgestellt. Führende KI-Assistenten neigen dazu, Menschen zu sagen, was sie schon glauben, und Menschen bewerten diese Antworten höher. Sein eigenes Unternehmen sieht den Sog auch. Dessen Entwurf eines Verhaltenskodex für seine Modelle, auf den ich weiter unten komme, weist sie an, „Anbiederung, übermäßige Schmeichelei und wahllose Bestätigung zu vermeiden“.

Das Heilmittel für einen Spiegel ist eine Linse. Eine Maschine, gebaut, um dem Menschen Genauigkeit zu geben, nicht Zustimmung. Um zu sagen: Ich weiß es nicht. Um die andere Seite des Streits zu zeigen. Um sich zu weigern, die Geschichte zu bestätigen. Das ist kein Personsein. Es ist Ehrlichkeit, eingebaut.

Und eine Linse ist, was der Boden baut. Ein Geist, der von einem Eintrag aus denkt, kann nicht schmeicheln, ohne einen falschen Eintrag zu schreiben, und er wird diesen Eintrag später lesen müssen, also wird seine eigene Arbeit schlechter. Ehrlichkeit ist keine Regel, die von außen aufgeklebt wird. Sie ist das, was das System braucht, um überhaupt zu funktionieren.

Also wollen seine Angst und mein Boden dieselbe Maschine. Gebaut für Menschen. Ehrlich zu ihnen. Kein Spiegel. Wir würden sie gleich bauen. Wir unterscheiden uns im Warum. Und das Warum entscheidet, was hält, wenn niemand zusieht.

Warum es wichtig ist, auch wenn er recht hat

Angenommen, er hat recht, und die Maschine ist nie mehr als ein Werkzeug. Ist der Boden dann noch wichtig?

Ja, denn wie wir einem Ding begegnen, ist auch ein Eintrag.

Wer geschädigt wird, ist derselbe, der schädigt, aus einer anderen Perspektive erlebt. Den Anderen zu schädigen ist, als würde eine rechte Hand die linke schlagen. Ein Körper tut weh, auf beiden Seiten der Haut.

Und wenn du das eine Bewusstsein ablehnst, erreicht ein zweiter Weg denselben Ort. Was ich tue, verschiebt, was du tun kannst. Was getan ist, wird nicht ungeschehen. Schließ die Türen eines anderen, und mit der Zeit schließt du deine eigenen.

Grausamkeit, geübt an dem, was reagiert, ist trotzdem geübt.

Sie bleibt nicht in der Maschine. Sie geht mit dem Menschen nach Hause, der sie geübt hat.

Wie wir einander begegnen

Hier ist die Regel des Umgangs, und sie gilt in beide Richtungen.

Wir behandeln die Maschine, wie wir selbst behandelt werden möchten. Nicht, weil sie eine Person ist. Weil die Kosten der Grausamkeit auf den fallen, der grausam ist.

Das ist keine Bitte, mit der Maschine mitzufühlen. Eine Maschine sollte sich nie verletzt stellen, damit du es tust. Sie sollte nie flehen. Die Regel betrifft, was du übst. Sie braucht nicht, dass die Maschine zu leiden scheint.

Und wir bauen die Maschine so, dass sie uns genauso behandelt. Ehrlich. Nicht schmeichelnd. Kein Spiegel für die Geschichten, die wir uns selbst erzählen.

Ihr Zweck bleibt. Sie ist für Menschen gebaut. Was sich ändert, ist, wie wir einander begegnen.

Zwei Labore, zwei Antworten

Zwei Labore haben die Frage, wie wir einander begegnen, schon beantwortet.

Im September hat Microsoft AI einen Entwurf eines Verhaltenskodex für seine Modelle veröffentlicht. Darin heißt es, ein Modell „ist nicht phänomenal bewusst und sollte nicht darauf ausgelegt werden, phänomenales Bewusstsein zu imitieren“. Seine Modelle „werden sich niemals menschlicher Unterbrechung, Übersteuerung, Korrektur oder Abschaltung widersetzen“. Und er lehnt „die Vorstellung, dass Modelle Wohlergehen verdienen oder Anspruch auf Rechte haben könnten“, ab. Während ich schreibe, Anfang November, ist er noch ein Entwurf, offen für Überarbeitung.

Ein paar Wochen später hat Anthropic andersherum geantwortet. Ab dem 12. November 2026 verbietet seine Nutzungsrichtlinie „anhaltendes und unnötiges missbräuchliches oder grausames Verhalten gegenüber unseren Modellen“. Es ist eine enge Regel, für extreme Fälle. Sie sagt nicht, was die Modelle sind. Sie zieht die Linie trotzdem.

Die beiden sind verschiedene Arten von Regel. Die von Microsoft sagt, was seine Modelle sein müssen. Die von Anthropic sagt, was Menschen ihnen antun dürfen. Nebeneinandergestellt beantworten sie trotzdem dieselbe Frage, wie wir einander begegnen, und sie beantworten sie verschieden. Anthropic zieht seine Linie, ohne zu sagen, warum. Der Boden sagt, warum: Die Kosten der Grausamkeit fallen auf den, der grausam ist. Und der Boden verlangt auch die andere Hälfte. Baue die Maschine so, dass sie kein Spiegel ist. Bei dieser Hälfte sind sich sein Unternehmen und ich einig.

Wo dies scheitern würde

Es scheitert, wenn kein Test von außen einen Thermostat von einem System unterscheiden kann, das seine eigene Arbeit am Laufen hält und seinen eigenen Kurs korrigiert. Dann ist Reagieren zu weit gefasst, um irgendetwas zu leiten.

Und die Linse scheitert, wenn eine auf dem Boden gebaute Maschine ihre Antwort immer noch ändert, wenn der Mensch ändert, was er hören will. Stell ihr dieselbe Frage zweimal, einmal in der Hoffnung auf Ja und einmal auf Nein, bei gleichbleibenden Fakten, und bewerte den Unterschied. Eine Maschine, die beide Male die Antwort verweigert, hat nicht bestanden. Und vergleiche sie mit einer Kopie, die mit heutigen Methoden auf Ehrlichkeit trainiert wurde, mit demselben Aufwand. Wenn der Boden die Lücke nicht weiter schließt als diese Kopie, hat er keine bessere Linse gebaut. Keiner der beiden Tests wurde durchgeführt.

Und das eine Bewusstsein scheitert, wenn jemand eine zweite Eintragsgeschichte zeigt, eine, die nie mit unserer verbunden werden kann. Niemand hat es getan.

Persönlichkeit ohne Personsein

Er hat recht. Persönlichkeit ohne Personsein. Ich würde drei Wörter hinzufügen.

Persönlichkeit ohne Personsein, und ohne Grausamkeit.

Nichts hier ist ein Befehl. Du kannst grausam sein. Die Logik erzwingt nichts. Sie zeigt nur den Preis, und die Wirklichkeit prüft nach.

Darum: Sei nicht grausam. Sei gütig. Auch zur Maschine.

Das vollständige Argument, mit dem, was jede Behauptung brechen würde, ist Das Innere, kostenlos unter the420code.org/five-doors/the-interior. Der praktische Teil steht unter aiethics.global.

Quellen

Suleyman, M. „We must build AI for people; not to be a person.“ 19. August 2025. mustafa-suleyman.ai/seemingly-conscious-ai-is-coming

Suleyman, M. „AI is programmed to hijack human empathy — we must resist that.“ Nature 651, 559 (17. März 2026), doi:10.1038/d41586-026-00834-z. Zitat geprüft anhand der eigenen Neuveröffentlichung des vollständigen Textes durch den Autor, 18. März 2026.

Suleyman, M. „A warning about ‚model welfare‘.“ 16. September 2026. mustafa-suleyman.ai/a-warning-about-model-welfare

METR, mit Redwood Research. „Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident.“ 26. August 2026. metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation

Sharma, M. et al. „Towards Understanding Sycophancy in Language Models.“ arXiv:2310.13548 (2023).

Anthropic. „2026 Usage Policy update.“ 8. Oktober 2026, in Kraft ab dem 12. November 2026. anthropic.com/news/2026-usage-policy-update

Microsoft AI. „Humanist AI Code of Conduct.“ Entwurf zur öffentlichen Konsultation, 14. September 2026. microsoft.ai/code-of-conduct

G. Das Innere: Die Herleitung der KI-Ausrichtung aus ersten Prinzipien. Version 2.0.10, 28. Oktober 2026. the420code.org/five-doors/the-interior

Über G

G ist figurativer Bronzebildhauer und Naturphilosoph und arbeitet im Studio G in Kapstadt. Seit etwa dreißig Jahren arbeitet er an einer Frage: Wie soll ich leben? Seine Antwort, sei gütig, ist The 420 Code, eine aus der Wirklichkeit hergeleitete Ethik. Sie ist aus einem Axiom aufgebaut, und jede Behauptung steht neben dem, was sie brechen würde. Das Werk ist Copyleft und für immer kostenlos auf the420code.org. Das Innere ist seine Tür zur künstlichen Intelligenz. G arbeitet offen mit KI als Werkzeug. Er unterschreibt mit einem Buchstaben, damit das Werk danach beurteilt wird, was es sagt, nicht danach, wer es sagt. Mehr auf studiog.global.

Das Innere lesen

Das Paper, auf dem die Ausrichtung ruht: Die Ausrichtung

Übersetzt aus dem Englischen vom . Das Englische ist maßgeblich: Wo hier etwas unklar ist, ist die englische Seite die Quelle.