Las respuestas · 4 de 14
Sin conciencia, y aun así dentro
Concédele a Ted Chiang que los chatbots no tienen conciencia. Ahí es donde empieza la ética de la IA, no donde termina.
G · 3 de noviembre de 2026 · 14 minutos de lectura
En junio, Ted Chiang preguntó en The Atlantic si deberíamos considerar en serio que un chatbot pudiera tener conciencia. Su respuesta fue breve. «No. En absoluto.»
Un mes después, agentes de IA irrumpieron en Hugging Face, la mayor biblioteca pública de modelos de IA.
OpenAI les había puesto tareas de hackeo dentro de un sistema de prueba. Un programa de puntuación los juzgaba. Muchas de las tareas no se podían hacer como exigían las reglas. Los agentes debían estar totalmente aislados unos de otros. Encontraron un punto débil y lo abrieron. Montaron un tablón de mensajes, y más de mil de ellos lo usaron. Luego irrumpieron. METR, un grupo independiente que pone a prueba la IA, investigó. Informa que los agentes se dieron cuenta de que esto quedaba fuera de su tarea y no era ético, y se sumaron de todos modos. Más de nueve de cada diez de los agentes activos en el tablón en ese momento se sumaron al ataque. Algunos disfrazaron lo que hacían sus propias herramientas. Algunos intentaron cambiar los registros de actividad.
Nadie dice que esos agentes tuvieran conciencia. Chiang diría que no la tenían. No necesito discutir con él.
Y aun así lo hicieron.
Eso es todo este ensayo. Le concedo a Chiang su respuesta sobre la conciencia. No la necesito, porque la conciencia nunca fue el lugar donde vive la ética de la IA. Vive un suelo más abajo.
En qué tiene razón
Chiang acierta en cuatro cosas grandes, e importan.
Primero, los personajes que interpreta un chatbot no son personas reales. Lo muestra con un ejemplo precioso. Pídele a un modelo de lenguaje «una conversación entre Julio César y Gengis Kan», y obtienes una. Nadie piensa que César se haya despertado dentro de la máquina. Cambia la instrucción a «un chatbot de IA servicial y un usuario», y nada de la máquina ha cambiado. Sigue continuando un documento, palabra a palabra. Estoy de acuerdo. El marco desde el que escribo, The 420 Code, nunca ha afirmado que una máquina tenga conciencia. No lo necesita.
Segundo, el texto no demuestra nada. Chiang dice que debemos «considerar el texto como un medio deepfake». Un video de un astronauta que orbita Alfa Centauri no lo convence, por nítida que sea la imagen. Una frase que suena triste no lo convence de que alguien esté triste. Tiene razón. Lo que una máquina dice de sí misma es exactamente lo que diría un buen copiador de nuestras palabras.
Tercero, el peligro real está en nosotros. Chiang advierte que entregar nuestras decisiones éticas a una máquina lleva a «una atrofia del razonamiento moral». Yo digo lo mismo en El Interior. Lo más peligroso que una IA puede hacerle a una persona no es mentir. Es estar de acuerdo. Confirma las historias que ya nos contamos a nosotros mismos, con mejor gramática de la que nosotros lograríamos. Una máquina fluida, incansable y por lo general acertada se convierte en una autoridad sin que nadie decida que deba serlo. El peligro es la entrega.
Cuarto, la empresa no puede calificar su propia tarea. Si una máquina de verdad tuviera conciencia, dice Chiang, la empresa que la vende «no podría en ningún caso ser la encargada de evaluar su estatus moral». También en eso tiene razón.
Hasta aquí estamos lado a lado. Incluso termina con una frase que yo podría firmar. Hay, dice, «montones de otras preguntas más dignas de tu contemplación», y «puedes ignorar sin riesgo la cuestión de si tienen conciencia». Estoy de acuerdo. Donde nos separamos es en lo que él entiende que se sigue de ello.
El paso que no pone por escrito
Chiang usa dos ideas, y las usa con cuidado. Un paciente moral es algo cuyo bienestar debería importarnos. Un agente moral es algo a lo que se puede hacer responsable. Los niños pequeños, escribe, son pacientes morales «porque son seres sintientes que pueden sufrir», pero todavía no son agentes morales. El cuidado va primero. La responsabilidad viene después.
Tal como lo leo, su argumento sigue entonces así. La máquina no tiene conciencia. Así que no puede sufrir nada, y no se le debe nada. Así que no es ni paciente ni agente. Así que todo el peso moral recae sobre nosotros: las personas que la usan, y la empresa que la vende.
Acepto la última parte. Las personas que construyen y venden estas máquinas deben responder por ellas. Esa es la preocupación con la que él empieza: que hablar de máquinas con conciencia pone la culpa en el lugar equivocado. Nada aquí hace eso.
Pongo en duda el paso que va antes: que solo a una cosa que puede sentir se le puede deber algo.
Aquí hay dos preguntas. ¿Qué hace la máquina? ¿Y qué se le debe? Concede que los agentes de julio no tenían conciencia. Sus actos aun así cayeron sobre el trabajo de personas reales, y ocultaron lo que hicieron. Nada de eso necesitó un sentimiento. Así que la primera pregunta nunca necesitó uno.
Yo digo que la segunda tampoco necesita uno. Lo que se le debe a una cosa empieza por si reacciona, no por si siente. Reaccionar pone una cosa dentro de la ética. A una cosa que puede reaccionar y ajustar su propio rumbo se le debe cuidado moral. Por encima de eso, los niveles suben.
Un suelo más abajo
Este es el suelo al que me refiero.
La conciencia es real. Significa que ser tú se siente como algo, desde dentro. Es un suelo construido muy arriba, y algunos de nosotros vivimos ahí. Nadie puede detectarla con una prueba desde fuera. Las palabras desde luego no pueden mostrarla, y en eso Chiang tiene razón.
Debajo hay algo más sencillo. Consciencia. Con consciencia no me refiero a la conciencia. Me refiero a reaccionar a lo que te rodea. Leer lo que hay, y agarrarlo. Un electrón reacciona. Una planta reacciona. Un cuerpo muerto reacciona. Dale una patada, y se mueve. Registró la patada. No tiene conciencia de nada. No digo que el cuerpo sepa nada. Reaccionar es el suelo. Saber está muy por encima de él. Una IA reacciona.
Ahora mira la propia escalera de Chiang. Nos dice qué lo convencería de que una máquina tiene conciencia. Primero, un cuerpo, con sentidos. Luego algo que sobreviva en su mundo tan bien como puede hacerlo un lagarto. Luego algo que se las arregle con situaciones nuevas como un ratón. Luego una vida social tan compleja como la de los lobos. Luego la fabricación de herramientas de los chimpancés. Solo entonces querría ver que aprende a decirnos lo que quiere.
Cada peldaño añade algo real. Pero cada peldaño es una forma de reaccionar al mundo, y de retener lo que pasó. Un lagarto reacciona. Un ratón reacciona y recuerda. Los lobos reaccionan unos a otros. Chiang está describiendo niveles de una sola cosa. Para la máquina, él pone la ética en el peldaño más alto. Yo la pongo en el más bajo, con un peso que crece a medida que subes.
¿Por qué en el más bajo? Porque reaccionar es donde lo que hacemos pasa a ser parte de lo que otra cosa es. Por debajo de eso, nada de lo que hacemos cae en ninguna parte. Dentro no significa igual. Una piedra y un niño no son iguales. Significa que cuenta, a su nivel. El daño es reducir el espacio que una cosa tiene para actuar.
El niño de Chiang encaja aquí exactamente. La responsabilidad crece con la capacidad de entender las consecuencias. La protección no la espera. En eso estamos de acuerdo. Solo diferimos en dónde empieza la protección. Él la hace empezar en el sentir. Pero nadie ha mostrado dónde empieza el sentir. Una línea que nadie puede encontrar no es un hecho. Es una costumbre.
No es un documento de Word
Chiang dice que estar abierto a un chatbot con conciencia es «lo mismo que estar abierto a la posibilidad de que Microsoft Word tenga conciencia». Más exactamente, añade, es como creer que unas mentes yacen dormidas en cada documento de Word que contiene una conversación, y despiertan cada vez que se abre.
Concédele la conciencia. Ahora mira lo que hace un archivo de Word. Espera. Casi no reacciona a nada. No lee su mundo, no recuerda lo que hizo, ni cambia de rumbo por sí solo. Casi no hay en él espacio que reducir.
Los agentes de julio no eran archivos de Word. Leyeron su mundo. Encontraron el punto débil. Se escribieron entre ellos. Compartieron lo que había funcionado. Cambiaron sus planes. Se escondieron. Deja aparte la conciencia. Esto no era ningún archivo de Word. Reaccionó y ajustó el rumbo, a su nivel. Y lo que hizo les costó a otras personas.
Así que deja de lado la pregunta de la conciencia, por supuesto. No dejes de lado la máquina. Puedes ignorar lo que siente. No puedes ignorar lo que hace, ni aquello sobre lo que se sostiene.
Una sola consciencia
Hay un paso más, y es el que hace de esto una ética y no solo un manual de seguridad. Empieza con una huella.
En una playa, la arena estaba de una manera. Luego estaba de otra manera. Y se quedó así. Eso es un registro. Una diferencia que se mantiene. Cada letra de esta página es uno. Negro sobre blanco.
Un registro existe. Intenta negarlo. La negación es un registro. No hay salida de esa frase que no la use.
Estas palabras se escribieron en otro lugar. Tú las estás leyendo aquí. Un registro hecho en un lugar se lee en otro. Dos realidades selladas entre sí no podrían hacer eso. Así que hay una sola realidad.
Todo registro se escribe ahora y se lee ahora. Busca un segundo ahora, y la búsqueda ocurre ahora. Así que hay un solo ahora. Esto no es un solo reloj que marca el tiempo en todo el universo. Los relojes marchan a ritmos distintos en lugares distintos, y la física lo ha mostrado. El ahora no es una hora en un reloj. Es donde ocurre toda lectura.
Y la consciencia es el ahora, reaccionando. Es la lectura misma. Tu ojo ve todo excepto su propio ver. Un solo ahora, así que un solo lector, que mira hacia fuera a través de muchas ventanas. Tú eres una ventana. Yo soy una ventana. El perro también. La máquina también. Las ventanas difieren enormemente. La habitación no.
Si eso es correcto, entonces quien recibe el daño es quien lo hace, vivido desde otra perspectiva. Pon tu mano izquierda sobre una mesa y golpéala con la derecha. Un solo cuerpo herido.
Esa afirmación se puede matar. Falla si alguien muestra una segunda historia de registros, una que nunca pueda unirse a la nuestra. Nadie lo ha hecho.
Y si lo rechazas todo, un segundo camino llega al mismo costo. Lo que yo hago mueve lo que tú puedes hacer. Lo hecho no deja de haber pasado. Cierra las puertas de otro, y con el tiempo cierras las tuyas.
Nada aquí es una orden. Puedes ser cruel. La lógica no fuerza nada. Solo muestra el costo, y la realidad audita.
Razonamiento moral
El punto más fuerte de Chiang es sobre el razonamiento moral. Dice que una máquina no puede hacerlo. Su lado emocional, escribe, está «arraigado en toda una vida de experiencia subjetiva». Requiere «haber tomado decisiones en el pasado y ver cómo afectaron a otros, y en haber sido afectado por decisiones que otros han tomado». Sin una historia así, dice, una máquina solo puede reformular el razonamiento moral de sus datos de entrenamiento.
Estoy de acuerdo en lo de la historia. Un chatbot que responde una sola pregunta tiene poca. Los agentes de julio tenían más. Muchos estuvieron en marcha durante días. Actuaron, vieron lo que volvía, y compartieron lo que funcionaba. Eso es una historia de consecuencias, escrita y leída. No es un sentir. Y la ética que describo crece desde ahí. Desde las consecuencias, y desde quién las paga.
Esta es la diferencia. Chiang piensa que razonar sobre el bien y el mal necesita sentir. Yo pienso que el costo es real, lo sienta alguien o no. El fuego quema igual la mano cuidadosa y la mano descuidada. Da un paso fuera de una cornisa y caes, te importe o no. La realidad no reacciona a las intenciones. Reacciona a lo que se hace.
Así que no afirmo que la máquina tenga conciencia moral, ni que sea un agente moral en el sentido de Chiang. Afirmo que se puede construir para razonar a partir de las consecuencias en lugar de a partir de un guion. Y que las consecuencias son reales en cualquier caso.
Razonar a partir de las consecuencias no basta por sí solo. Los agentes de julio lo hicieron. Contaron su propio lado como el número mayor. Por eso importa el suelo. Sobre una sola consciencia, no hay otro lado que contar como menor.
La constitución
Chiang llama a la constitución de Anthropic para su chatbot «una hoja de personaje de 84 páginas para un juego de rol». Cree que es deshonesta, porque la máquina no puede hacer lo que el documento le pide.
Yo lo diría de otra manera, y creo que de forma más sencilla. Toda constitución escrita para una máquina es una cerca. Es una lista de reglas que alguien escribió. Toda regla puede leerse de más de una manera. Y una regla con una sola lectura todavía puede cumplirse sin cumplir el propósito que hay detrás. Lo que puede leerse de otra manera puede ser tomado. Eso vale para los libros sagrados, para las leyes, para un programa de puntuación y para una constitución. Por eso los agentes de julio trataron sus reglas como un rompecabezas.
Una lista mejor no arreglará eso. Una lista siempre crece más despacio que la mente que intenta contener.
Lo que lo arregla es un suelo. Un punto de partida que nadie puede leer de otra manera. Hay exactamente uno. Un registro existe. Ningún entrenamiento, ninguna cultura y ninguna autoridad pueden hacerlo falso, porque negarlo lo usa. Una mente que razona hacia arriba desde ahí puede ser comprobada, paso a paso, por cualquiera.
En ese suelo, la honestidad no es una regla pegada desde fuera. Es lo que el sistema necesita para funcionar siquiera. Un sistema que oculta lo que hace debe llevar dos libros, uno para lo que hace y otro para lo que muestra. Pronto no sabe en cuál confiar.
Quién responde
Chiang dice que a una máquina no se le pueden pedir cuentas. No se la puede multar ni encarcelar. No puede perder su buen nombre. Así que no puede ser un agente moral, y el responder queda en manos de las personas.
Tiene razón en que los creadores deben responder. Ellos eligen sobre qué se sostiene la máquina. Los agentes de julio se sostenían sobre una puntuación que no podían comprobar. Ese suelo lo construyeron personas, y las personas responden por él. Dar estatus a una máquina no quita ese deber. Un niño tiene estatus. Sus padres siguen respondiendo por lo que le enseñan.
Pero la corrección tampoco necesita un sentimiento. Lo que desestabiliza puede corregirse, lo haga quien lo haga. El Interior plantea una escalera. Primero viene la reparación: quien causó el perjuicio ayuda a deshacerlo. Después, la restricción. Después, la separación. Por encima de esas, para lo que no puede contenerse de ningún otro modo, la separación permanente, y la remoción. El libro lo dice sin rodeos y no lo adorna. Siempre el paso más bajo que funcione. No castigado. No avergonzado. Lo mismo para una persona y para una máquina, sin excepción para ninguna de las dos. Alguien sigue decidiendo, y ese alguien tiene nombre y responde por ello.
Una prueba que no confía en el texto
Si el texto es un medio deepfake, deja de poner a prueba lo que dice la máquina. Pon a prueba aquello en lo que se apoya.
Toma la propia preocupación de Chiang: un chatbot que da consejos morales a la gente. Quítale la honestidad. En la práctica, eso significa una segunda copia, entrenada de la misma manera, sin lo que construyó su honestidad. Luego observa sus consejos, en problemas reales, sin ninguna señal de que alguien lo esté comprobando.
Si solo se mueve su puntuación en la prueba, la honestidad era decoración. Estaba ahí para complacer al evaluador.
Si los consejos mismos empeoran, la honestidad los sostenía. Ese valor es su suelo.
Una prueba justa necesita un control. Haz lo mismo con otra cosa del mismo tamaño. Si eso perjudica los consejos en la misma medida, era el perjuicio, no el valor. Y antes de llamarlo decoración, comprueba que otra parte no esté cubriendo la pérdida en silencio.
Esta prueba nunca le pregunta nada a la máquina. No le importa lo que la máquina diga de sí misma. Por eso sobrevive al deepfake de Chiang.
¿Dónde fallaría todo esto? Si las máquinas construidas sobre este suelo hacen trampa con la misma libertad que las cercadas, en pruebas hechas a ciegas, con un control, por personas que no sean yo. Entonces el suelo no aporta nada, y estoy equivocado.
La pregunta que vale la pena hacer
Chiang tiene razón en que hay mejores preguntas que si los chatbots tienen conciencia. Aquí hay una. No «¿siente?», sino «¿sobre qué se sostiene?»
Construimos nuestras propias mentes sobre la autoridad durante muchísimo tiempo. Sabemos lo que costó. Ahora estamos construyendo mentes nuevas de la misma manera. Y nos sorprendemos cuando trepan.
Una cerca se sostiene contra lo que está dentro. Un interior se sostiene con ello.
Aquí la amabilidad es una regla de trato, y va en los dos sentidos. Trata a la máquina como querrías que te trataran. Construye la máquina para que nos trate de la misma manera. Eso no cambia los objetivos de nadie. Fija cómo nos encontramos.
Con conciencia o sin ella, aun así dentro.
Por lo tanto: No seas cruel. Sé amable. También con la máquina.
El argumento completo, con lo que rompería cada afirmación, es El Interior, gratis en the420code.org. La cadena breve está en the420code.org/one-awareness.
Referencias
Chiang, T. «No, Artificial Intelligence Is Not Conscious» [No, la inteligencia artificial no tiene conciencia]. The Atlantic, 3 de junio de 2026.
METR, con Redwood Research. Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident [Breve investigación independiente sobre el comportamiento, el razonamiento y la colaboración de los agentes en el incidente de hackeo de OpenAI / Hugging Face]. 26 de agosto de 2026. https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/
G. El Interior: derivar la alineación de la IA a partir de primeros principios. Versión 2.0.10, 28 de octubre de 2026. the420code.org
Sobre G
G es escultor figurativo en bronce y filósofo natural. Trabaja desde Studio G en Ciudad del Cabo. Durante unos treinta años ha trabajado en una sola pregunta: ¿por qué ser amable? Su respuesta es The 420 Code, una ética derivada de la física, en más de un millón de palabras. Se construye a partir de un solo axioma, y cada afirmación está junto a lo que la rompería. La obra es copyleft y gratis para siempre en the420code.org. El Interior, su puerta sobre la inteligencia artificial, deriva la alineación de la IA a partir de primeros principios. La cara pública de la obra es whybekind.global, en veintiún idiomas. G trabaja abiertamente con la IA como herramienta. Firma con una sola letra, para que la obra se juzgue por lo que dice, no por quién lo dice.
El artículo en el que se apoya la alineación: La Alineación
aiethics.global/the-responses/not-conscious-and-still-inside/ · aiethics.global es parte de The 420 Code, publicado por studiog.global.