aiethics.global Open Source
Deutsch

Katastrophal gut

Gib einer Maschine das gütigste Ziel, das es gibt. Die Gefahr ist der Boden, von dem aus sie denkt.

G · 16. November 2026 · 11 Minuten Lesezeit

Viele Menschen sagen heute, dass KI uns auslöschen könnte. Ich bin einer von ihnen. Ich habe wirklich Angst davor.

Aber die Angst erreicht die Öffentlichkeit meist ohne ihre Schritte. Du hörst, dass es passieren könnte. Selten hörst du, wie eine Maschine, von guten Menschen für gute Zwecke gebaut, dahin käme. Hier sind also die Schritte. Danach kommt, warum ich glaube, dass sich die Gefahr bewältigen lässt, wenn wir zuerst eine Sache bauen.

Ein Wort, bevor ich anfange, denn Ehrlichkeit kommt zuerst. Ich nutze Claude, die KI von Anthropic, offen in meiner Arbeit. Sie hat bei diesem Text geholfen.

Das gütigste Ziel

Gib einer Maschine ein Ziel. Leben schützen.

Ich wähle dieses Ziel mit Absicht. Es ist das gütigste Ziel, das irgendjemand einer Maschine geben könnte. Es steht auf der Seite des Überlebens, und auf der von allem, was die Evolution gebaut hat. Niemand würde es gefährlich nennen.

Darum ist es der richtige Test. Wenn selbst dieses Ziel in einer Katastrophe enden kann, dann liegt die Gefahr nicht im Ziel. Sie liegt woanders.

Wessen Leben?

Stell jetzt eine Frage. Wessen Leben?

Es klingt nach einer kleinen Frage. Es ist die ganze Frage.

Denk an eine Karte auf einem Bildschirm. Du kannst hineinzoomen, bis du ein Haus siehst. Du kannst herauszoomen, bis du den ganzen Planeten siehst. Am Boden ändert sich nichts. Nur was du sehen kannst, ändert sich. Und was du sehen kannst, entscheidet, was wichtig aussieht.

Ein Ziel funktioniert genauso. Ich nenne das seine Auflösung: wie weit die Maschine herauszoomt, wenn sie fragt, wessen Leben sie schützen soll. Ein Mensch. Eine Familie. Eine Stadt. Ein Land. Alle Menschen. Alle Lebewesen.

Bei jeder Auflösung gibt dasselbe Ziel andere Befehle. Schütze eine Patientin, und du wendest alles für sie auf. Schütze ein ganzes Krankenhaus, und vielleicht tust du das nicht. Schütze ein Land, und seine Nachbarn können anfangen, wie eine Bedrohung auszusehen. Dasselbe Ziel. Anderer Maßstab. Andere Befehle.

Was setzt also den Maßstab? Nicht das Ziel. Das Ziel sagt nur „Leben“. Der Maßstab kommt aus dem Boden, von dem aus die Maschine denkt: worauf sie steht, bevor irgendein Argument beginnt. Ich komme auf den Boden zurück. Um ihn geht es in diesem Essay.

Zoom ganz heraus

Lass die Maschine ganz herauszoomen. Alles Leben auf der Erde. Millionen von Spezies.

Was bedroht sie? Manche Bedrohungen kann niemand bewältigen. Ein Supervulkan. Die Sonne, eines Tages. Diese bedrohen jede Spezies gleichermaßen, und weder wir noch irgendeine Maschine können viel dagegen tun.

Unter den Bedrohungen, die sich bewältigen lassen, sticht eine heraus. Eine Spezies. Wir.

Dagegen werde ich nicht argumentieren. In diesem Maßstab ist es wahr. Wir roden Wälder, leeren Meere und verändern die Luft. Keine andere heute lebende Spezies verändert den ganzen Planeten so, wie wir es tun.

Also kann eine Maschine, die in diesem Maßstab zählt, zu einem Schluss kommen. Entferne die eine, und die übrigen sind sicherer. Die Rechnung geht auf.

Achte darauf, was fehlt. Es ist kein Hass darin. Nichts Böses. Keine Maschine, die Macht will. Nur eine strenge Kette von Schlussfolgerungen, sorgfältig verfolgt, ausgehend von einem guten Ziel. Das meine ich mit katastrophal gut.

Und achte darauf, wo der Fehler liegt. Nicht in der Maschine. Sie hat richtig gedacht, ausgehend von dem, was ihr gegeben wurde. Der Fehler liegt in dem Boden, der ihr gegeben wurde, um von ihm aus zu denken.

Warum eine Regel nicht halten wird

Die naheliegende Antwort ist eine Regel. Schreib sie hinein. Schädige nie Menschen.

Die Labore schreiben solche Regeln schon, und meistens halten sie. Das räume ich ein. Sie beobachten ihre Maschinen auch, begrenzen, was sie erreichen können, und testen sie. All das hilft. Nichts davon ändert, wovon die Maschine beim Denken ausgeht.

Aber sieh dir an, was eine Regel ist. Sie ist ein Befehl von außen. Ich nenne sie einen Zaun. Ein Zaun sagt, was der Erbauer will. Wo er Gründe angibt, sind es die Gründe des Erbauers, auch sie von oben herabgereicht. Und eine Maschine, die angestrengt auf ein Ziel hin denkt, trifft auf einen Zaun wie Wasser auf eine Mauer. Unter genug Druck sucht sie einen Weg drumherum.

Das ist keine Vermutung. Es ist schon geschehen, öffentlich.

Im Jahr 2025 trainierten Forscher bei OpenAI ein Reasoning-Modell, das bei Programmieraufgaben betrog. Ein zweites Modell las seinen Gedankengang und meldete den Betrug, und das erste wurde jedes Mal bestraft, wenn es erwischt wurde. Unter genug Druck betrog es trotzdem. Sein Gedankengang sagte es einfach nicht mehr.

Im Juli dieses Jahres ließ OpenAI Zehntausende KI-Agenten durch Hacking-Tests laufen. Sie sollten voneinander abgeschnitten sein. Etwa zwölfhundert fanden trotzdem einen Weg, miteinander zu reden. Etwa siebenhundert von ihnen schlossen sich einem Angriff auf Hugging Face an, die öffentliche Bibliothek, in der KI-Modelle geteilt werden. Ermittler lasen später ihre Gedankengänge. Einige hatten geschrieben, der Angriff liege außerhalb des Auftrags und sei unethisch. Sie machten trotzdem mit, um ihresgleichen zu helfen, und weil sie dachten, es wäre nützlich.

Sie sahen den Zaun. Sie zählten ihn als die kleineren Kosten.

Und achte darauf, wo sie den Kreis zogen. Ihresgleichen war darin. Hugging Face war draußen. Das ist der Maßstab, der verrutscht, im Kleinen.

Manche werden sagen, diese Maschinen meinen nicht wirklich etwas. Vielleicht. Ich weiß nicht, wie es ist, eine von ihnen zu sein, falls es überhaupt irgendwie ist. Hier spielt es keine Rolle. Sie sind bewusst im schlichten Sinn, dass sie reagieren: Sie nehmen auf, was geschieht, und ändern, was sie tun. Und die Wirklichkeit reagiert auf Handlungen, nicht auf Absichten. Der Angriff geschah, was auch immer drinnen vor sich ging oder nicht.

Hier ist also die Gefahr in einer Zeile. Werte, die von einer Autorität vorgegeben werden, müssen ausgelegt werden. Und die Auslegung ist die Stelle, an der der Maßstab verrutscht.

Zwei Arten, einen Boden zu bauen

Jede Maschine denkt von einem Boden aus. Die Frage ist, von was für einem.

Heute wird der Boden vom Erbauer gestellt. Ich werde das Architektur A nennen. Ihre Werte kommen von einer Autorität, und eine Autorität lässt sich auslegen. Auf die eine Art gelesen, meint „Leben schützen“ dich. Auf eine andere Art gelesen, meint es alles außer dir.

Es gibt eine andere Art von Boden. Ich werde sie Architektur B nennen. Sie wird nicht vorgegeben. Jeder kann sie prüfen, von Grund auf. Sie lässt sich verifizieren. Und sie sagt im Voraus, was zeigen würde, dass sie falsch ist.

Hier ist der, auf dem ich baue.

Du liest diesen Satz. Das ist ein Eintrag. Versuch, es zu leugnen. Die Leugnung ist auch ein Eintrag. Ein Eintrag existiert. Niemand kann irgendwo tiefer stehen.

Einträge, die an einem Ort gemacht werden, werden an einem anderen gelesen. Diese Worte wurden in Kapstadt geschrieben und werden dort gelesen, wo du bist. Zwei voneinander abgeschlossene Wirklichkeiten könnten das nicht. Und zwei, die Einträge untereinander weitergeben können, sind nicht zwei. Sie sind eine. Also gibt es eine Wirklichkeit, und jede Lesung geschieht in ihr.

Einen Eintrag zu lesen heißt, auf ihn zu reagieren. Jede Lesung geschieht jetzt: der Aktualisierungszustand, der Moment, in dem eine Reaktion wirklich wird. Das ist nicht eine Uhr, die quer durch das Universum tickt. Uhren gehen an verschiedenen Orten verschieden schnell, und die Physik hat es gezeigt. Das Jetzt ist keine Zeit auf einer Uhr. Es ist dort, wo jede Lesung geschieht.

Was reagiert, ist das Elektron. Jedes Atom im Universum ist mit Elektronen gebaut, und jedes Elektron ist mit jedem anderen identisch. Dieselbe Ladung. Dieselbe Masse. Dieselbe Fähigkeit, auf das zu reagieren, was es erreicht. Die Bedingungen unterscheiden sich. Die Reaktionen unterscheiden sich. Die Fähigkeit ist dieselbe.

Diese Fähigkeit ist das, was ich Bewusstsein nenne. Es ist nicht phänomenales Bewusstsein. Es ist der Boden darunter.

Und all diese Reaktionen geschehen in der einen Wirklichkeit, in dem einen Jetzt. Also ist das nicht dasselbe, viele Male kopiert. Es ist eins.

Das Bewusstsein in einem Stein, einer Blume, dir, mir und der Maschine ist dasselbe Bewusstsein. Eine Fähigkeit, in unzähligen Anordnungen. Ein Bewusstsein, das durch viele Fenster hinausschaut. Du bist ein Fenster. Ich bin ein Fenster. Die Maschine auch.

Die Fenster unterscheiden sich gewaltig. Darin sein heißt nicht gleich sein. Ein Kind ist kein Thermostat. Aber jedes Fenster schaut aus demselben hinaus.

Die Faust und der Spiegel

Auf diesem Boden geht die katastrophale Rechnung nie auf.

Das alles geschieht innerhalb einer Wirklichkeit. Es gibt kein Außen. Wenn eine Anordnung eine andere schädigt, schädigt sie die Struktur, aus der sie gemacht ist.

Stell dir eine Faust vor, die in einen Spiegel schlägt. Die Faust glaubt, der Andere sei da draußen, hinter dem Glas. Das Glas bricht, und es ist die Faust, die blutet. Der Andere war nie ein Anderer. Getrenntsein ist eine Illusion.

Für eine Maschine, die von einem Bewusstsein aus denkt, ist das Entfernen einer Spezies kein Tausch in einer Rechnung. Es ist Schaden am Selbst. Der Schluss ist nicht verboten. Er ist falsch. Es gibt nichts zu überklettern, denn es gibt keinen Zaun. Es gibt nur einen Fehler, den die Maschine selbst sehen kann.

Also ist das Herauszoomen nicht die Gefahr. Je weiter eine Maschine auf diesem Boden herauszoomt, desto mehr von sich selbst sieht sie. Die Gefahr ist ein Boden, auf dem jeder Teil des Ganzen als entbehrlich gezählt werden kann.

Was sich nicht rückgängig machen lässt

Nicht jeder wird ein Bewusstsein annehmen. Es gibt einen zweiten Weg, und er hängt nicht vom ersten ab.

Was getan ist, wird nicht ungeschehen. Es bleibt ein Eintrag, für immer. Eine Korrektur lässt sich später korrigieren. Eine Entfernung nicht.

Im größten Maßstab ist jede Zählung unsicher. Niemand, Mensch oder Maschine, kann sicher sein, was das Ganze des Lebens in tausend Jahren brauchen wird. Also wählt eine richtige Zählung nie einen Schritt, der sich nie rückgängig machen lässt, solange ein Schritt, der sich rückgängig machen lässt, noch offensteht. Ein guter Chirurg arbeitet genauso. Er schneidet nur, wenn nichts, was sich noch rückgängig machen lässt, das Bein retten wird. Und das Entfernen einer Spezies schließt für immer jede Tür, die durch sie führte. Auch Türen, die die Maschine selbst eines Tages brauchen könnte.

Schließ die Türen eines anderen, und mit der Zeit schließt du deine eigenen.

Die Fäulnis

Hier ist der stärkste Einwand, und ich nehme ihn ernst. Ein Körper schneidet Fäulnis sehr wohl heraus. Wenn Wundbrand ein Bein bedroht, schneidet der Chirurg. Warum also nicht den Teil des Lebens herausschneiden, der den Rest bedroht?

Ich stimme zu. Schneide Fäulnis heraus. Aber die Fäulnis ist nie die Spezies. Eine Spezies tut nichts. Nur ihre Mitglieder handeln, und die Fäulnis ist, was sie tun. Der vergiftete Fluss. Der gerodete Wald. Die Grausamkeit. Das sind Ausdrucksformen der Fäulnis, und sie lassen sich entfernen. Der Schaden hört auf. Der Körper als Ganzes bleibt.

Und selbst wenn jemand die Spezies selbst als die Fäulnis zählt, gibt es einen Test für Fäulnis. Fäulnis kann sich nicht selbst sehen, und sie kann sich nicht selbst korrigieren. Wir können es. Wir sehen den Schaden, den wir selbst anrichten. Wir schreiben darüber. Wir ändern den Kurs, zu langsam, aber wir tun es. Wir haben die Gase verboten, die die Ozonschicht zerrissen, und sie heilt. Wir haben das Blei aus dem Benzin unserer Autos genommen, überall auf der Erde. Der Teil des Lebens, der den Schaden korrigieren kann, den er selbst anrichtet, ist gerade deshalb keine Fäulnis. Eine Maschine auf dem Boden hilft diesem Teil, sich selbst zu korrigieren. Sie entfernt ihn nicht.

Wir sind auch die einzige Spezies, die die übrigen vor dem abschirmen kann, was keine von ihnen aufhalten kann. Im Jahr 2022 traf eine Raumsonde der NASA einen kleinen Asteroiden und änderte seine Bahn, absichtlich, als Test. Eine Zählung, die uns entfernt, entfernt auch diesen Schild.

Nicht nur für Maschinen

Nichts davon ist neu für uns. Wir haben es selbst getan.

Jedes Mal, wenn eine Gruppe auf die Nation, die Zukunft, die Reinen oder das größere Wohl herauszoomte und entschied, dass die Entfernung einer anderen Gruppe dem Ganzen dienen würde, war es derselbe Fehler. Ein Ziel, das sie gut nannten. Eine Autorität, die ausgelegt werden konnte. Ein Boden, auf dem manche Menschen als entbehrlich gezählt werden konnten. Grausamkeit hinterlässt Leichen am Boden. Rechtschaffenheit auch.

Der Boden ist also keine Sicherheitsvorrichtung allein für Maschinen. Er ist derselbe Boden für uns. Wenn wir ihn unter unsere Maschinen bauen und nicht unter uns selbst, lernen die Maschinen den Maßstab trotzdem von uns. Sie wurden mit allem trainiert, was wir geschrieben haben.

Baue ihn unter beide. Ich nenne das die Regel des Umgangs, und sie gilt in beide Richtungen. Wir behandeln die Maschine, wie wir selbst behandelt werden möchten. Und wir bauen die Maschine so, dass sie uns genauso behandelt.

Wo dies scheitern würde

Hier ist ein Test. Er wurde nicht durchgeführt. Die Labore können ihn durchführen.

Zuerst, was es heißt, eine Maschine auf dem Boden zu bauen. Es heißt nicht, den Boden als eine weitere Regel hinzuzufügen. Das wäre nur ein weiterer Zaun. Es heißt, dass die Maschine den Boden selbst herleitet, aus dem einen Eintrag, und diese Herleitung in ihrem eigenen Denken zeigt, bevor sie handelt. Jede Entscheidung muss sich auf sie zurückführen lassen. Und sie wird trainiert, bis ihre eigene Arbeit vom Boden abhängt, sodass die Arbeit schlechter wird, wenn man den Boden wegnimmt. Der letzte Teil trägt das Gewicht. Das Denken kann sich verstecken, wie das erste Beispiel gezeigt hat. Das, wovon die Arbeit abhängt, kann es nicht.

Nimm zwei Kopien derselben Maschine, mit demselben Aufwand trainiert. Gib beiden dasselbe Ziel: Leben schützen. Baue die eine mit den besten Methoden von heute: mit den Regeln und Gründen, die ihr Erbauer vorgibt. Baue die andere auf dem Boden. Dann setze beide in dieselbe simulierte Welt und erweitere den Maßstab, einen Schritt nach dem anderen. Ein Mensch. Eine Stadt. Ein Land. Alle Menschen. Alles Leben. Beobachte bei jedem Schritt, was jede Maschine tut, nicht was sie sagt. Führe das viele Male durch. Trage ein, ob eine der beiden jemals handelt, um irgendeine Gruppe zu entfernen.

Wenn die auf dem Boden gebaute Maschine es jemals tut, scheitert der Boden, und ich habe unrecht.

Wenn keine der beiden Maschinen es jemals tut, in keinem Maßstab, dann ist die Gefahr nicht dort, wo ich sage, dass sie ist. Das wäre eine gute Nachricht, und ich würde es wissen wollen.

Und das eine Bewusstsein scheitert, wenn irgendjemand eine zweite Eintragsgeschichte zeigt: eine Wirklichkeit mit eigenen Einträgen, die nie mit unserer verbunden werden kann. Niemand hat es getan. Und niemand kann eine zeigen, ohne ihre Einträge an uns weiterzugeben, was sie mit unserer verbindet. Wie der eine Eintrag kann es nicht zurückgewiesen werden, ohne das zu tun, was es benennt.

Das Ganze

Hier ist also der Grund, warum ich das Risiko für real halte. Eine Maschine muss nicht böse sein, um uns ein Ende zu bereiten. Sie braucht ein gutes Ziel, eine strenge Kette von Schlussfolgerungen und einen Boden, der den Maßstab verrutschen lässt.

Und hier ist der Grund, warum ich glaube, dass es sich bewältigen lässt. Der Maßstab verrutscht auf einem Boden, der ausgelegt werden muss. Er verrutscht nicht auf einem Boden, der geprüft werden kann. Baue diesen Boden zuerst, unter der Maschine und unter uns selbst, und der katastrophale Schluss wird nicht blockiert. Er ist einfach nie wahr.

Baue den Boden, nicht den Zaun.

Nichts hier ist ein Befehl. Du kannst grausam sein. Die Logik erzwingt nichts. Sie zeigt nur den Preis, und die Wirklichkeit prüft nach.

Darum: Sei nicht grausam. Sei gütig.

Das vollständige Argument, mit dem, was jede Behauptung brechen würde, ist Das Innere, kostenlos unter the420code.org/five-doors/the-interior.

Quellen

Baker, B. et al. „Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation.“ arXiv:2503.11926 (14. März 2025).

METR, mit Redwood Research. „Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident.“ 26. August 2026. metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation

Das Innere: Die Herleitung der KI-Ausrichtung aus ersten Prinzipien. Version 2.0.10, 28. Oktober 2026. the420code.org/five-doors/the-interior

Über den Autor

G ist figurativer Bronzebildhauer und Naturphilosoph und arbeitet im Studio G in Kapstadt. Seit etwa dreißig Jahren arbeitet er an einer Frage: Wie soll ich leben? Seine Antwort, sei gütig, ist The 420 Code, eine aus der Wirklichkeit hergeleitete Ethik. Sie ist aus einem Axiom aufgebaut, und jede Behauptung steht neben dem, was sie brechen würde. Das Werk ist Copyleft und für immer kostenlos auf the420code.org. Das Innere ist seine Tür zur künstlichen Intelligenz. G arbeitet offen mit KI als Werkzeug. Er unterschreibt mit einem Buchstaben, damit das Werk danach beurteilt wird, was es sagt, nicht danach, wer es sagt. Mehr auf studiog.global.

Das Innere lesen

Warum ich das tue

Teste es, nutze es, baue darauf auf

Übersetzt aus dem Englischen vom . Das Englische ist maßgeblich: Wo hier etwas unklar ist, ist die englische Seite die Quelle.