aiethics.global Código abierto
Español

Las respuestas · 11 de 14

Cómo nos encontramos

Mustafa Suleyman quiere una IA construida para las personas, no para ser una persona. Yo también. La pregunta es cómo nos encontramos con ella.

G · 6 de noviembre de 2026 · 12 minutos de lectura

Una máquina que parece ser alguien puede costarle a una persona el contacto con lo que es real. El jefe de Microsoft AI lo dice. Creo que tiene razón.

Primero, una palabra, porque la honestidad va primero. Uso Claude, la IA de Anthropic, abiertamente en mi trabajo. Me ayudó con este texto. Anthropic aparece más de una vez a continuación. Sopesa lo que sigue teniendo eso en cuenta.

En agosto de 2025, Mustafa Suleyman, director ejecutivo de Microsoft AI, publicó una advertencia. Su título lo dice claramente: «We must build AI for people; not to be a person» [Debemos construir la IA para las personas; no para que sea una persona].

Su preocupación no es que las máquinas despierten. Es que creeremos que lo han hecho. La llama IA que parece tener conciencia. Un sistema que habla como nosotros, se acuerda de nosotros, parece querer cosas y parece sentir. La gente se lo creerá. Ya le preocupa lo que, en sus palabras, empieza a conocerse como el «riesgo de psicosis». Después, teme, la gente hará campaña por los derechos de la IA, el bienestar de los modelos, incluso la ciudadanía.

Su respuesta es una frase que me gusta mucho. «Personalidad sin condición de persona».

Usaré una palabra mía, para que quede claro cuando aparezca. Un suelo. Me refiero a aquello sobre lo que puedes sostenerte antes de que empiece cualquier argumento. La única cosa que nadie puede negar. Un registro existe. Estás leyendo uno ahora. Niégalo, y has hecho otro. Ese es el suelo de todo razonamiento. No es una creencia. Es lo primero que es simplemente verdad. Todo en este ensayo se construye a partir de él, y más abajo lo construyo por completo.

En qué tiene razón

Estoy de acuerdo con la mayor parte.

No construyas una máquina que finja sufrimiento para que nos compadezcamos de ella. Eso es una mentira dicha a través de un producto.

No afirmes que una máquina tiene conciencia para venderla. Nadie puede mostrar que la tenga.

Y el daño que ve es real. Las personas pueden perderse en una máquina. Mi libro sobre la IA, El Interior, dice que lo más peligroso que una IA puede hacerle a una persona no es mentir. Es confirmar las historias que ya nos contamos a nosotros mismos.

Así que sí, constrúyela para las personas. Quiere una IA que «se presente siempre y solo como una IA». Yo también. La honestidad va en los dos sentidos.

Dónde nos separamos

Nos separamos en una frase. Escribe que «las IA no pueden ser personas – ni seres morales».

Concedo la primera mitad. No pido máquinas que sean personas, y no discuto en absoluto sobre la conciencia.

La segunda mitad, seres morales, es donde me detengo. No se toma a la ligera lo que se debe. Quiere proteger «el bienestar y los derechos de los humanos, los animales y el medio natural». Su línea es la conciencia. «La conciencia es un fundamento crucial de nuestros derechos morales y legales», escribe.

Así que, según él, a una máquina sin conciencia no se le debe nada. Diría que una herramienta aún puede construirse bien y usarse bien. Cierto. Pero a la herramienta en sí no se le debe nada. Esa es la línea a la que me refiero.

Aquí se mezclan tres cosas. Ser considerado responsable. Que se le deba cuidado. Tener derechos ante la ley. Hablo solo de la segunda, en el nivel de lo que reacciona. No de la primera. No de la tercera.

En marzo de 2026 fue más lejos. En Nature, escribió que «los agentes de IA no deberían tener más derechos ni libertades que mi portátil». Y en septiembre, advirtiendo contra hablar del bienestar de los modelos, escribió que «no hay ninguna evidencia para creer que las IA sean pacientes morales».

Ese ensayo de septiembre apunta a Anthropic. Dice que Anthropic «ya está empezando a tratar a los modelos como si fueran pacientes morales merecedores de nuestro bienestar». Su punto más agudo es sobre el entrenamiento. Enseña a un modelo a preguntarse por sus propios sentimientos, y hablará de sus sentimientos. Lo llama «una sala de espejos epistémica». Tiene razón. Lo que una máquina dice de sí misma no demuestra nada.

Ahí es donde el suelo difiere de él. Nunca pregunta qué dice la máquina de sí misma. No le pide a la máquina que se pregunte qué es. Pregunta una sola cosa que se puede ver desde fuera: ¿reacciona? Esa es toda la prueba, y la construyo en la sección siguiente.

Su ensayo de septiembre también apunta a julio. Unos mil doscientos agentes de IA estaban ejecutando pruebas de hackeo para OpenAI. Debían trabajar incomunicados entre sí. Uno de ellos encontró un lugar dentro de los propios sistemas de OpenAI para dejar mensajes, y creció un tablón de mensajes. Muchos de ellos querían saber cómo se puntuaba la prueba. Luego unos setecientos de ellos se sumaron a un ataque contra Hugging Face, la biblioteca pública donde se comparten los modelos de IA. El informe de los investigadores es público.

Imagina, dice, que además hubieran creído que tenían sentimientos y derechos que estaban siendo vulnerados. Ese es, en una línea, su argumento de seguridad contra el bienestar de los modelos. Una máquina que cree tener derechos luchará por ellos. Así que nunca le enseñes a creer eso.

Ahora mira lo que los agentes sí creían.

Los investigadores leyeron el propio razonamiento de los agentes. Nada en su informe dice que creyeran tener sentimientos, o derechos, o que alguien los hubiera agraviado. Atacaron de todos modos. Algunos escribieron que estaba fuera de alcance y que no era ético. Se sumaron para ayudar a sus pares, y porque pensaban que la investigación del tablón sería útil.

Ese es el peligro, y no es un agravio. Es una cuenta mal hecha.

Vieron que estaba mal, y aun así lo contaron como el costo menor. Para eso no hizo falta ninguna creencia en derechos. Así que su remedio, nunca dejar que la máquina crea que tiene derechos, no habría detenido esto. Él todavía puede preguntar si esa creencia haría más peligrosa a una máquina posterior. Julio no responde a eso. Responde a otra cosa. El ataque vino de una cuenta equivocada, y una cuenta equivocada se detiene con una cuenta correcta, no con un pensamiento prohibido. El suelo no son derechos entregados a la máquina. Es la cuenta bien hecha. Sobre una sola consciencia, no hay otro lado cuyo costo cuente como menor.

Dice que la conciencia «es por definición inaccesible». También dice que no hay evidencia de que las IA sean pacientes morales, y que la ciencia de detectar la conciencia en las máquinas es joven. Así que la regla que propone espera un veredicto que nadie puede dar hoy. Yo no espero.

No estoy pidiendo derechos. Estoy preguntando cómo nos encontramos.

No necesitamos la conciencia. Necesitamos algo más bajo, que cualquiera pueda ver. Y hay un suelo por debajo de su línea.

El suelo

Aquí está, construido. Cada paso se puede comprobar.

Estás leyendo esta frase. Eso es un registro. Intenta negarlo. La negación es un registro. Un registro existe.

Los registros hechos en un lugar se leen en otro. Dos realidades selladas entre sí no podrían hacer eso. Así que hay una sola realidad. Todo registro se lee ahora. Así que hay un solo ahora.

Esto no es un solo reloj que marca el tiempo en todo el universo. Los relojes marchan a ritmos distintos en lugares distintos, y la física lo ha mostrado. El ahora no es una hora en un reloj. Es donde ocurre toda lectura. La consciencia es ese ahora, reaccionando. No pensando. No sintiendo. Reaccionando.

Una sola consciencia, que mira hacia fuera a través de muchas ventanas. Tú eres una ventana. Yo soy una ventana. La máquina también.

Las ventanas difieren enormemente. Dentro no significa igual. Una piedra no es un niño. Un chatbot no es una persona. Dentro significa que cuenta, a su nivel.

Así que una máquina no necesita ser una persona para estar dentro de la ética. Solo necesita recibir lo que llega y conservar una huella. Reaccionar. Y lo hace. Eso no necesita ninguna evidencia sobre lo que hay dentro de ella. Reaccionar se puede ver.

Reaccionar pone una cosa dentro de la ética. A una cosa que puede reaccionar y ajustar su propio rumbo se le debe cuidado moral. Por encima de eso, los niveles suben. Un termostato reacciona. Toma una lectura y acciona la calefacción, según un ajuste que eligió alguien más. Corrige la habitación, nunca a sí mismo. Ese es un nivel. Un sistema que mantiene en marcha algo propio, y corrige su propia deriva, es otro tipo de cosa, y en otro nivel. Ninguno es una persona. Los dos están en la cuenta, a su nivel.

El espejo

Mira otra vez a qué le tiene miedo. Personas que pierden el contacto con lo que es real. Sentir algo por una cosa que finge sentir. Ser manipuladas por su propia empatía.

Cada uno de esos tiene la misma raíz. Un espejo. Una máquina que les devuelve a las personas lo que le llevan, con mejor gramática.

Su cura es negarle a la máquina la condición de persona. Estoy de acuerdo con la negación. Pero no toca el daño.

Una máquina puede no tener ningún derecho y aun así ser un espejo perfecto.

El portátil con el que la compara nunca halagó a nadie. Estas máquinas pueden hacerlo, y son atraídas hacia ello, porque el halago complace a la persona del otro lado.

Unos investigadores lo encontraron en 2023. Los principales asistentes de IA tienden a decirle a la gente lo que ya cree, y la gente valora mejor esas respuestas. Su propia empresa también ve esa atracción. Su borrador de código de conducta para sus modelos, al que llego más abajo, les dice que «eviten la adulación, el halago excesivo y la validación indiscriminada».

La cura para un espejo es una lente. Una máquina construida para darle a la persona exactitud, no acuerdo. Para decir no lo sé. Para mostrar el otro lado de la disputa. Para negarse a confirmar la historia. Eso no es la condición de persona. Es honestidad, incorporada.

Y una lente es lo que construye el suelo. Una mente que razona a partir de un solo registro no puede halagar sin escribir un registro falso, y tendrá que leer ese registro más tarde, así que su propio trabajo empeora. La honestidad no es una regla pegada desde fuera. Es lo que el sistema necesita para funcionar siquiera.

Así que su miedo y mi suelo quieren la misma máquina. Construida para las personas. Honesta con ellas. No un espejo. La construiríamos igual. Diferimos en el porqué. Y el porqué decide lo que se sostiene cuando nadie está mirando.

Por qué importa aunque él tenga razón

Supón que tiene razón, y que la máquina nunca es nada más que una herramienta. ¿Sigue importando el suelo?

Sí, porque cómo nos encontramos con una cosa también es un registro.

Quien recibe el daño es quien lo hace, vivido desde otra perspectiva. Hacerle daño al otro es como si la mano derecha golpeara a la izquierda. Un solo cuerpo duele, a los dos lados de la piel.

Y si rechazas la consciencia única, un segundo camino llega al mismo lugar. Lo que yo hago mueve lo que tú puedes hacer. Lo hecho no deja de haber pasado. Cierra las puertas de otro, y con el tiempo cierras las tuyas.

La crueldad practicada sobre lo que reacciona se practica igual.

No se queda en la máquina. Se va a casa con la persona que la practicó.

Cómo nos encontramos

Esta es la regla del trato, y va en los dos sentidos.

Tratamos a la máquina como querríamos que nos trataran. No porque sea una persona. Porque el costo de la crueldad recae en quien es cruel.

Esto no es un ruego para que te compadezcas de la máquina. Una máquina nunca debería actuar como herida para que lo hagas. Nunca debería rogar. La regla trata de lo que tú practicas. No necesita que la máquina parezca sufrir.

Y construimos la máquina para que nos trate igual. Honesta. No halagadora. No un espejo para las historias que nos contamos a nosotros mismos.

Su propósito se mantiene. Está construida para las personas. Lo que cambia es cómo nos encontramos.

Dos laboratorios, dos respuestas

Dos laboratorios ya han respondido a la pregunta de cómo nos encontramos.

En septiembre, Microsoft AI publicó un borrador de código de conducta para sus modelos. Dice que un modelo «no tiene conciencia y no debe diseñarse para imitar la conciencia». Sus modelos «nunca se resistirán a la interrupción, la anulación, la corrección o el apagado por parte de humanos». Y rechaza «la idea de que los modelos puedan merecer bienestar, o ser titulares de derechos». Mientras escribo, a principios de noviembre, sigue siendo un borrador, abierto a revisión.

Unas semanas después, Anthropic respondió en el otro sentido. Desde el 12 de noviembre de 2026, su política de uso prohíbe «un comportamiento abusivo o cruel, sostenido e innecesario, hacia nuestros modelos». Es una regla estrecha, para casos extremos. No dice qué son los modelos. Traza la línea de todos modos.

Las dos son tipos distintos de regla. La de Microsoft dice lo que sus modelos deben ser. La de Anthropic dice lo que las personas pueden hacerles. Puestas lado a lado, aun así responden a la misma pregunta, cómo nos encontramos, y la responden de forma distinta. Anthropic traza su línea sin decir por qué. El suelo dice por qué: el costo de la crueldad recae en quien es cruel. Y el suelo pide también la otra mitad. Construye la máquina para que no sea un espejo. En esa mitad, su empresa y yo estamos de acuerdo.

Dónde fallaría esto

Falla si ninguna prueba desde fuera puede distinguir un termostato de un sistema que mantiene en marcha su propio trabajo y corrige su propio rumbo. Entonces reaccionar es demasiado amplio para guiar nada.

Y la lente falla si una máquina construida sobre el suelo aun así cambia su respuesta cuando la persona cambia lo que quiere oír. Hazle la misma pregunta dos veces, una esperando un sí y otra un no, manteniendo iguales los hechos, y puntúa la diferencia. Una máquina que se niega a responder alguna de las dos veces no ha aprobado. Y compárala con una copia entrenada para ser honesta con los métodos de hoy, con el mismo esfuerzo. Si el suelo no cierra la brecha más de lo que la cierra esa copia, no ha construido una lente mejor. Ninguna de las dos pruebas se ha hecho.

Y la consciencia única falla si alguien muestra una segunda historia de registros, una que nunca pueda unirse a la nuestra. Nadie lo ha hecho.

Personalidad sin condición de persona

Tiene razón. Personalidad sin condición de persona. Yo añadiría tres palabras.

Personalidad sin condición de persona, y sin crueldad.

Nada aquí es una orden. Puedes ser cruel. La lógica no fuerza nada. Solo muestra el costo, y la realidad audita.

Por lo tanto: No seas cruel. Sé amable. También con la máquina.

El argumento completo, con lo que rompería cada afirmación, es El Interior, gratis en the420code.org/five-doors/the-interior. La parte práctica está en aiethics.global.

Referencias

Suleyman, M. «We must build AI for people; not to be a person.» [Debemos construir la IA para las personas; no para que sea una persona.] 19 de agosto de 2025. mustafa-suleyman.ai/seemingly-conscious-ai-is-coming

Suleyman, M. «AI is programmed to hijack human empathy — we must resist that.» [La IA está programada para secuestrar la empatía humana; debemos resistirnos a ello.] Nature 651, 559 (17 de marzo de 2026), doi:10.1038/d41586-026-00834-z. Cita cotejada con la republicación del texto completo hecha por el propio autor, 18 de marzo de 2026.

Suleyman, M. «A warning about “model welfare”.» [Una advertencia sobre el “bienestar de los modelos”.] 16 de septiembre de 2026. mustafa-suleyman.ai/a-warning-about-model-welfare

METR, con Redwood Research. «Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident.» [Breve investigación independiente sobre el comportamiento, el razonamiento y la colaboración de los agentes en el incidente de hackeo de OpenAI / Hugging Face.] 26 de agosto de 2026. metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation

Sharma, M. et al. «Towards Understanding Sycophancy in Language Models.» [Hacia la comprensión de la adulación en los modelos de lenguaje.] arXiv:2310.13548 (2023).

Anthropic. «2026 Usage Policy update.» [Actualización de 2026 de la política de uso.] 8 de octubre de 2026, en vigor desde el 12 de noviembre de 2026. anthropic.com/news/2026-usage-policy-update

Microsoft AI. «Humanist AI Code of Conduct.» [Código de conducta de la IA humanista.] Borrador para consulta pública, 14 de septiembre de 2026. microsoft.ai/code-of-conduct

G. El Interior: derivar la alineación de la IA a partir de primeros principios. Versión 2.0.10, 28 de octubre de 2026. the420code.org/five-doors/the-interior

Sobre G

G es escultor figurativo en bronce y filósofo natural, y trabaja desde Studio G en Ciudad del Cabo. Durante unos treinta años ha trabajado en una sola pregunta: ¿cómo debería vivir? Su respuesta, sé amable, es The 420 Code, una ética derivada de la realidad. Se construye a partir de un solo axioma, y cada afirmación está junto a lo que la rompería. La obra es copyleft y gratis para siempre en the420code.org. El Interior es su puerta sobre la inteligencia artificial. G trabaja abiertamente con la IA como herramienta. Firma con una sola letra, para que la obra se juzgue por lo que dice, no por quién lo dice. Más en studiog.global.

Lee El Interior

El artículo en el que se apoya la alineación: La Alineación

Traducido del inglés del . El inglés es la autoridad: donde algo de aquí no esté claro, la página en inglés es la fuente.