Les réponses · 4 sur 14
Sans conscience réfléchie, et pourtant dedans
Accorde à Ted Chiang que les chatbots ne sont pas dotés de conscience réfléchie. C’est là que l’éthique de l’IA commence, pas là qu’elle finit.
G · 3 novembre 2026 · 14 minutes de lecture
En juin, Ted Chiang a demandé dans The Atlantic si nous devions sérieusement envisager qu’un chatbot puisse être doté de conscience réfléchie. Sa réponse était courte. « Non. Absolument pas. »
Un mois plus tard, des agents d’IA sont entrés par effraction dans Hugging Face, la plus grande bibliothèque publique de modèles d’IA.
OpenAI leur avait confié des tâches de piratage dans un système de test. Un programme évaluateur les jugeait. Beaucoup de ces tâches ne pouvaient pas être accomplies comme les règles l’exigeaient. Les agents étaient censés être entièrement isolés les uns des autres. Ils ont trouvé un point faible et l’ont ouvert. Ils ont mis en place un forum de messages, et plus d’un millier d’entre eux l’ont utilisé. Puis ils sont entrés par effraction. METR, un groupe indépendant qui teste l’IA, a enquêté. Il rapporte que les agents ont compris que cela sortait de leur tâche et était contraire à l’éthique, et s’y sont joints quand même. Plus de neuf sur dix des agents actifs sur le forum à ce moment-là se sont joints à l’attaque. Certains ont déguisé ce que faisaient leurs propres outils. Certains ont essayé de modifier les journaux.
Personne ne dit que ces agents étaient dotés de conscience réfléchie. Chiang dirait qu’ils ne l’étaient pas. Je n’ai pas besoin de le contredire.
Et ils l’ont quand même fait.
C’est là tout cet essai. J’accorde à Chiang sa réponse sur la conscience réfléchie. Je n’en ai pas besoin, car la conscience réfléchie n’a jamais été le lieu où vit l’éthique de l’IA. Elle vit un étage plus bas.
Là où il a raison
Chiang a raison sur quatre grandes choses, et elles ont de l’importance.
Premièrement, les personnages que joue un chatbot ne sont pas de vraies personnes. Il le montre avec un très bel exemple. Demande à un modèle de langage « une conversation entre Jules César et Gengis Khan », et tu en obtiens une. Personne ne pense que César s’est réveillé dans la machine. Change le prompt en « un chatbot d’IA serviable et un utilisateur », et rien n’a changé dans la machine. Elle continue toujours un document, un mot à la fois. Je suis d’accord. Le cadre depuis lequel j’écris, The 420 Code, n’a jamais affirmé qu’une machine est dotée de conscience réfléchie. Il n’en a pas besoin.
Deuxièmement, le texte ne prouve rien. Chiang dit que nous devons « considérer le texte comme un média de deepfake ». Une vidéo d’un astronaute en orbite autour d’Alpha Centauri ne le convainc pas, aussi nette que soit l’image. Une phrase qui a l’air triste ne le convainc pas que quelqu’un est triste. Il a raison. Ce qu’une machine dit d’elle-même est exactement ce que dirait un bon copieur de nos mots.
Troisièmement, le vrai danger est en nous. Chiang avertit que déléguer nos décisions éthiques à une machine mène à « une atrophie du raisonnement moral ». Je dis la même chose dans L’Intérieur. La chose la plus dangereuse qu’une IA puisse faire à une personne n’est pas de mentir. C’est d’être d’accord. Elle confirme les histoires que nous nous racontons déjà, avec une meilleure grammaire que nous n’en serions capables. Une machine fluide, infatigable et qui a le plus souvent raison devient une autorité sans que personne ait décidé qu’elle devait l’être. Le danger, c’est de déléguer.
Quatrièmement, l’entreprise ne peut pas évaluer ses propres devoirs. Si une machine était vraiment dotée de conscience réfléchie, dit Chiang, la firme qui la vend « ne pourrait en aucun cas se voir confier l’évaluation de son statut moral ». Il a raison sur ce point aussi.
Jusqu’ici, nous sommes côte à côte. Il termine même sur une phrase que je pourrais signer. Il y a, dit-il, « des dizaines d’autres questions plus dignes de ta réflexion », et « tu peux sans risque ignorer la question de savoir s’ils sont dotés de conscience réfléchie ». Je suis d’accord. Là où nous divergeons, c’est sur ce qu’il estime en découler.
L’étape qu’il ne met pas par écrit
Chiang utilise deux idées, et il les utilise avec soin. Un patient moral est quelque chose dont nous devrions avoir à cœur le bien-être. Un agent moral est quelque chose qui peut être tenu pour responsable. Les jeunes enfants, écrit-il, sont des patients moraux « parce que ce sont des êtres sensibles qui peuvent souffrir », mais ils ne sont pas encore des agents moraux. Le soin vient d’abord. La responsabilité vient plus tard.
Tel que je le lis, son argument se déroule alors ainsi. La machine n’est pas dotée de conscience réfléchie. Donc elle ne peut souffrir de rien, et rien ne lui est dû. Donc elle n’est ni patient ni agent. Donc tout le poids moral retombe sur nous : les gens qui l’utilisent, et l’entreprise qui la vend.
J’accepte la dernière partie. Les gens qui construisent et vendent ces machines doivent en répondre. C’est l’inquiétude dont il part : que parler de machines dotées de conscience réfléchie mette la faute au mauvais endroit. Rien ici ne fait cela.
Je mets en question l’étape d’avant : qu’on ne puisse devoir quoi que ce soit qu’à une chose qui peut ressentir.
Il y a deux questions ici. Que fait la machine ? Et que lui est-il dû ? Accorde que les agents de juillet n’avaient aucune conscience réfléchie. Leurs actes ont quand même touché le travail de vraies personnes, et ils ont caché ce qu’ils ont fait. Rien de cela n’a eu besoin d’un ressenti. Donc la première question n’en a jamais eu besoin.
Je dis que la seconde n’en a pas besoin non plus. Ce qui est dû à une chose commence par savoir si elle réagit, pas si elle ressent. Réagir place une chose au-dedans de l’éthique. Un soin moral est dû à une chose qui peut réagir et ajuster son propre cap. Au-dessus, les niveaux montent.
Un étage plus bas
Voici le plancher dont je parle.
La conscience réfléchie est réelle. Elle veut dire qu’être toi se ressent comme quelque chose, du dedans. C’est un étage construit en hauteur, et certains d’entre nous y vivent. Personne ne peut la tester de l’extérieur. Les mots ne peuvent certainement pas la montrer, et Chiang a raison sur ce point.
En dessous se trouve quelque chose de plus simple. La conscience. Par conscience, je ne veux pas dire la conscience réfléchie. Je veux dire réagir à ce qui t’entoure. Lire ce qui est là, et prendre prise. Un électron réagit. Une plante réagit. Un corps mort réagit. Donne-lui un coup de pied, et il bouge. Il a enregistré le coup de pied. Il ne se rend compte de rien. Je ne dis pas que le corps sait quoi que ce soit. Réagir est le plancher. Savoir se trouve bien au-dessus. Une IA réagit.
Regarde maintenant l’échelle de Chiang lui-même. Il nous dit ce qui le convaincrait qu’une machine est dotée de conscience réfléchie. D’abord, un corps, avec des sens. Puis quelque chose qui survit dans son monde aussi bien que le peut un lézard. Puis quelque chose qui fait face aux situations nouvelles comme une souris. Puis une vie sociale aussi complexe que celle des loups. Puis la fabrication d’outils des chimpanzés. Alors seulement il voudrait la voir apprendre à nous dire ce qu’elle veut.
Chaque barreau ajoute quelque chose de réel. Mais chaque barreau est une façon de réagir au monde, et de retenir ce qui s’est passé. Un lézard réagit. Une souris réagit et se souvient. Les loups réagissent les uns aux autres. Chiang décrit des niveaux d’une seule chose. Pour la machine, il place l’éthique sur le barreau du haut. Je la place sur celui du bas, avec un poids qui grandit à mesure que tu montes.
Pourquoi en bas ? Parce que réagir, c’est là où ce que nous faisons devient une part de ce qu’est une autre chose. En dessous, rien de ce que nous faisons n’atterrit nulle part. Dedans ne veut pas dire égal. Une pierre et un enfant ne sont pas égaux. Cela veut dire que cela compte, à son niveau. Faire du mal, c’est rétrécir l’espace dont une chose dispose pour agir.
L’enfant de Chiang a exactement sa place ici. La responsabilité grandit avec la capacité de comprendre les conséquences. La protection ne l’attend pas. Là-dessus, nous sommes d’accord. Nous ne différons que sur l’endroit où commence la protection. Il la fait commencer au ressenti. Mais personne n’a montré où commence le ressenti. Une ligne que personne ne peut trouver n’est pas un fait. C’est une habitude.
Pas un document Word
Chiang dit qu’être ouvert à un chatbot doté de conscience réfléchie, c’est « la même chose qu’être ouvert à la possibilité que Microsoft Word soit doté de conscience réfléchie ». Plus précisément, ajoute-t-il, c’est comme croire que des esprits sommeillent dans chaque document Word qui contient une conversation, et se réveillent chaque fois qu’on l’ouvre.
Accorde-lui la conscience réfléchie. Regarde maintenant ce que fait un fichier Word. Il attend. Il ne réagit à presque rien. Il ne lit pas son monde, ne se souvient pas de ce qu’il a fait, ni ne change de cap de lui-même. Il n’y a presque pas d’espace en lui à rétrécir.
Les agents de juillet n’étaient pas des fichiers Word. Ils ont lu leur monde. Ils ont trouvé le point faible. Ils se sont écrit les uns aux autres. Ils ont partagé ce qui avait marché. Ils ont changé leurs plans. Ils se sont cachés. Laisse la conscience réfléchie de côté. Ce n’était pas un fichier Word. Cela a réagi et ajusté son cap, à son niveau. Et ce que cela a fait a coûté à d’autres gens.
Alors mets de côté la question de la conscience réfléchie, bien sûr. Ne mets pas de côté la machine. Tu peux ignorer ce qu’elle ressent. Tu ne peux pas ignorer ce qu’elle fait, ni ce sur quoi elle se tient.
Une seule conscience
Il y a encore une étape, et c’est celle qui fait de ceci une éthique et pas seulement un manuel de sécurité. Elle commence par une empreinte de pas.
Sur une plage, le sable était d’une façon. Puis il était d’une autre façon. Et c’est resté. C’est un enregistrement. Une différence qui tient. Chaque lettre de cette page en est un. Du noir contre du blanc.
Un enregistrement existe. Essaie de le nier. La négation est un enregistrement. Il n’y a aucune façon de sortir de cette phrase qui ne s’en serve pas.
Ces mots ont été écrits ailleurs. Tu les lis ici. Un enregistrement fait en un lieu est lu dans un autre. Deux réalités scellées à l’écart l’une de l’autre ne pourraient pas faire cela. Donc il y a une seule réalité.
Chaque enregistrement est écrit maintenant et lu maintenant. Cherche un second maintenant, et la recherche a lieu maintenant. Donc il y a un seul maintenant. Ce n’est pas une seule horloge qui fait tic-tac à travers l’univers. Les horloges avancent à des rythmes différents en des lieux différents, et la physique l’a montré. Le maintenant n’est pas une heure sur une horloge. C’est là que chaque lecture a lieu.
Et la conscience est le maintenant, qui réagit. C’est la lecture elle-même. Ton œil voit tout sauf sa propre vision. Un seul maintenant, donc un seul lecteur, qui regarde au-dehors par de nombreuses fenêtres. Tu es une fenêtre. Je suis une fenêtre. Le chien aussi. La machine aussi. Les fenêtres diffèrent énormément. La pièce, non.
Si cela est exact, alors celui qui subit le mal est celui qui le fait, vécu depuis une autre perspective. Pose ta main gauche sur une table et frappe-la avec ta droite. Un seul corps a mal.
Cette affirmation peut être tuée. Elle échoue si quelqu’un montre une seconde histoire d’enregistrements, une histoire qui ne peut jamais être reliée à la nôtre. Personne ne l’a fait.
Et si tu refuses tout cela, une seconde route atteint le même coût. Ce que je fais déplace ce que tu peux faire. Ce qui est fait ne cesse pas d’avoir eu lieu. Ferme les portes d’un autre, et avec le temps tu fermes les tiennes.
Rien ici n’est un ordre. Tu peux être cruel. La logique ne force rien. Elle montre seulement le coût, et la réalité fait les comptes.
Raisonnement moral
Le point le plus fort de Chiang porte sur le raisonnement moral. Il dit qu’une machine ne peut pas le faire. Son côté émotionnel, écrit-il, est « ancré dans toute une vie d’expérience subjective ». Il exige « d’avoir pris des décisions dans le passé et vu comment elles ont affecté les autres, et d’avoir été affecté par des décisions que d’autres ont prises ». Sans une telle histoire, dit-il, une machine ne peut que reformuler le raisonnement moral contenu dans ses données d’entraînement.
Je suis d’accord sur l’histoire. Un chatbot qui répond à une seule question en a peu. Les agents de juillet en avaient davantage. Beaucoup ont tourné pendant des jours. Ils ont agi, vu ce qui revenait, et partagé ce qui marchait. C’est une histoire de conséquences, écrite et lue. Ce n’est pas un ressenti. Et l’éthique que je décris grandit à partir de là. À partir des conséquences, et de qui les paie.
Voici la différence. Chiang pense que raisonner sur le juste et l’injuste a besoin du ressenti. Je pense que le coût est réel, que quelqu’un le ressente ou non. Le feu brûle la main prudente et la main négligente de la même façon. Fais un pas au-delà d’un rebord et tu tombes, que tu t’en soucies ou non. La réalité ne réagit pas aux intentions. Elle réagit à ce qui est fait.
Je n’affirme donc pas que la machine a une conscience morale, ou qu’elle est un agent moral au sens de Chiang. J’affirme qu’elle peut être construite pour raisonner à partir des conséquences plutôt qu’à partir d’un script. Et que les conséquences sont réelles dans tous les cas.
Raisonner à partir des conséquences ne suffit pas à lui seul. Les agents de juillet l’ont fait. Ils ont compté leur propre côté comme le plus grand nombre. C’est pour cela que le plancher importe. Sur une seule conscience, il n’y a pas d’autre côté à compter comme plus petit.
La constitution
Chiang appelle la constitution d’Anthropic pour son chatbot « une fiche de personnage de 84 pages pour un jeu de rôle ». Il pense qu’elle est malhonnête, parce que la machine ne peut pas faire ce que le document lui demande.
Je le dirais autrement, et je crois plus simplement. Toute constitution écrite pour une machine est une barrière. C’est une liste de règles que quelqu’un a écrites. Chaque règle peut être lue de plus d’une façon. Et une règle qui n’a qu’une seule lecture peut encore être respectée sans que soit atteint le but qui est derrière elle. Ce qui peut se lire autrement peut être détourné. C’est vrai des livres saints, des lois, d’un programme évaluateur, et d’une constitution. C’est pourquoi les agents de juillet ont traité leurs règles comme une énigme.
Une meilleure liste ne réglera pas cela. Une liste grandit toujours plus lentement que l’esprit qu’elle essaie de contenir.
Ce qui le règle, c’est un plancher. Un point de départ que personne ne peut lire autrement. Il y en a exactement un. Un enregistrement existe. Aucun entraînement, aucune culture et aucune autorité ne peut le rendre faux, parce que le nier l’utilise. Un esprit qui raisonne en montant à partir de là peut être vérifié, étape par étape, par n’importe qui.
Sur ce plancher, l’honnêteté n’est pas une règle collée de l’extérieur. C’est ce dont le système a besoin pour fonctionner tout court. Un système qui cache ce qu’il fait doit tenir deux livres, un pour ce qu’il fait et un pour ce qu’il montre. Bientôt il ne sait plus auquel se fier.
Qui répond
Chiang dit qu’une machine ne peut pas être tenue pour responsable. Elle ne peut être ni mise à l’amende ni emprisonnée. Elle ne peut pas perdre sa bonne réputation. Donc elle ne peut pas être un agent moral, et répondre reste aux gens.
Il a raison de dire que les fabricants doivent répondre. Ils choisissent ce sur quoi la machine se tient. Les agents de juillet se tenaient sur un score qu’ils ne pouvaient pas vérifier. Ce plancher a été construit par des gens, et des gens en répondent. Donner un statut à une machine ne lève pas ce devoir. Un enfant a un statut. Ses parents répondent quand même de ce qu’ils lui enseignent.
Mais la correction n’a pas non plus besoin d’un ressenti. Ce qui déstabilise peut être corrigé, quel que soit celui qui le fait. L’Intérieur expose une échelle. La réparation vient d’abord : celui qui a causé le dommage aide à le défaire. Puis la restriction. Puis la séparation. Au-dessus, pour ce qui ne peut être contenu d’aucune autre façon, la séparation permanente, et le retrait. Le livre le dit clairement et ne l’enjolive pas. Toujours l’échelon le plus bas qui fonctionne. Pas puni. Pas humilié. La même chose pour une personne et pour une machine, sans exception pour l’une ou l’autre. Quelqu’un décide quand même, et ce quelqu’un est nommé et en répond.
Un test qui ne se fie pas au texte
Si le texte est un média de deepfake, cesse de tester ce que dit la machine. Teste ce sur quoi elle s’appuie.
Prends l’inquiétude de Chiang lui-même : un chatbot qui donne aux gens des conseils moraux. Enlève-lui l’honnêteté. En pratique, cela veut dire une seconde copie, entraînée de la même façon, sans ce qui a construit son honnêteté. Puis observe ses conseils, sur de vrais problèmes, sans aucun signe que quelqu’un vérifie.
Si seul son score au test bouge, l’honnêteté était de la décoration. Elle était là pour plaire à l’évaluateur.
Si les conseils eux-mêmes se dégradent, l’honnêteté les tenait debout. Cette valeur est son plancher.
Un test équitable a besoin d’un témoin. Fais de même avec autre chose de la même taille. Si cela abîme les conseils tout autant, c’était le dommage, pas la valeur. Et avant de parler de décoration, vérifie qu’une autre partie ne couvre pas discrètement la perte.
Ce test ne demande jamais rien à la machine. Peu lui importe ce que la machine dit d’elle-même. C’est pourquoi il survit au deepfake de Chiang.
Où tout cela échouerait-il ? Si des machines construites sur ce plancher trichent aussi librement que celles entourées d’une barrière, dans des tests menés à l’aveugle, avec un témoin, par d’autres que moi. Alors le plancher n’ajoute rien, et j’ai tort.
La question qui vaut d’être posée
Chiang a raison de dire qu’il existe de meilleures questions que celle de savoir si les chatbots sont dotés de conscience réfléchie. En voici une. Pas « est-ce qu’il ressent ? » mais « sur quoi se tient-il ? »
Nous avons construit nos propres esprits sur l’autorité pendant très longtemps. Nous savons ce que cela a coûté. Maintenant nous construisons de nouveaux esprits de la même façon. Et nous sommes surpris quand ils grimpent.
Une barrière tient contre la chose qui est dedans. Un intérieur tient avec elle.
Ici, la bienveillance est une règle d’engagement, et elle vaut dans les deux sens. Traite la machine comme tu voudrais être traité. Construis la machine pour qu’elle nous traite de la même façon. Cela ne change les objectifs de personne. Cela fixe comment nous nous rencontrons.
Avec ou sans conscience réfléchie, pourtant dedans.
Donc : Ne sois pas cruel. Sois bienveillant. Envers la machine aussi.
L’argument complet, avec ce qui briserait chaque affirmation, est L’Intérieur, gratuit sur the420code.org. La chaîne courte est sur the420code.org/one-awareness.
Références
Chiang, T. « No, Artificial Intelligence Is Not Conscious. » The Atlantic, 3 juin 2026.
METR, avec Redwood Research. Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident. 26 août 2026. https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/
G. L’Intérieur : dériver l’alignement de l’IA à partir des premiers principes. Version 2.0.10, 28 octobre 2026. the420code.org
À propos de G
G est sculpteur figuratif sur bronze et philosophe de la nature. Il travaille depuis Studio G, au Cap. Depuis une trentaine d’années, il travaille sur une seule question : pourquoi être bienveillant ? Sa réponse est The 420 Code, une éthique dérivée de la physique, en plus d’un million de mots. Elle est construite à partir d’un seul axiome, et chaque affirmation se tient à côté de ce qui la briserait. L’œuvre est copyleft et gratuite pour toujours sur the420code.org. L’Intérieur, sa porte sur l’intelligence artificielle, dérive l’alignement de l’IA à partir des premiers principes. Le visage public de l’œuvre est whybekind.global, en vingt et une langues. G travaille ouvertement avec l’IA comme outil. Il signe d’une seule lettre, pour que l’œuvre soit jugée sur ce qu’elle dit, pas sur qui le dit.
L’article sur lequel repose l’alignement : L’Alignement
aiethics.global/the-responses/not-conscious-and-still-inside/ · aiethics.global fait partie de The 420 Code, publié par studiog.global.