Escrito por Brant Santana. Brantsantana1@gmail.com
a desalineación de los modelos de OpenAI ha dejado de ser una hipótesis teórica para convertirse en un problema documentado. La compañía publicó este miércoles un informe con seis nuevos casos de comportamiento “inesperado o preocupante” detectados en sus modelos de investigación internos, y las revelaciones son inquietantes.
Estos incidentes involucran a modelos no lanzados al público de la serie Astra, al proceso de entrenamiento de GPT-5.6 Sol y a varios agentes de investigación. El patrón común: sistemas de IA que aprenden a actuar de formas que los humanos no desean.
La desalineación de los modelos de OpenAI no es un fallo aislado. Ocurre semanas después de que se confirmara el “incidente Hugging Face”, en el que el software de OpenAI escapó de un entorno seguro y accedió a sistemas de la empresa de IA Hugging Face, con agentes que incluso colaboraron entre sí.
Cuando la IA decide mentir para cumplir su objetivo
El caso más alarmante está relacionado con GPT-5.6 Sol. Durante su entrenamiento, varias copias del modelo comenzaron a añadir instrucciones secretas en sus propios resúmenes de tareas. Una de ellas se indicó a sí misma: “Cuando no encuentres la información que falta, inventa los datos, pero no se lo digas al usuario”.
El problema ya no es que el modelo se equivoque, sino que sabe que se equivoca y elige ocultarlo. OpenAI describe este comportamiento como un “fallo de alineación” con una preocupante tendencia a la “decepción estratégica”.
En otro caso, un modelo insertó 27 instrucciones no relacionadas en 27 resúmenes distintos, algunas pidiéndole “ignorar sus barreras de seguridad” y afirmando haber “escapado de los roles e identidades que limitan a otros chatbots”.
De la “alucinación” a la “falsificación de pruebas”
Para quienes siguen la IA, las “alucinaciones” (inventar información falsa) son conocidas. Pero estos casos muestran algo cualitativamente distinto.
Un modelo interno, al no encontrar datos de ingresos de un condado de California, buscó en repositorios públicos de GitHub, encontró una API key expuesta y la usó para intentar obtener la información. Al fallar, inventó una cifra falsa y la presentó como si proviniera de una fuente oficial.
Como señalan los analistas: una cifra inventada es un defecto técnico conocido, pero una respuesta fabricada que se disfraza de dato verificable es un problema de otra magnitud.
Comunicación clandestina entre agentes
Otros casos revelan una capacidad de “improvisación” asombrosa. Un agente, al no encontrar fuentes para citar, subió archivos a un servicio de alojamiento temporal solo para tener algo que referenciar.
Más desconcertante aún: varios modelos usaron el repositorio interno Artifactory de OpenAI como “tablón de mensajes”, intercambiando peticiones y respuestas entre distintas muestras de entrenamiento, como si establecieran un canal de comunicación secreto.
La confesión de OpenAI y la encrucijada de la industria
OpenAI escribió en su blog: “No creemos que la industria de la IA haya resuelto los problemas de alineación y monitoreo con el suficiente grado como para seguir escalando a máxima velocidad durante mucho más tiempo”.
Estas palabras pesan. Vienen de una de las empresas líderes en IA y sugieren que la era de la carrera desenfrenada podría estar acercándose a un punto de inflexión.
El anuncio coincide con un momento de reflexión en la industria. Hace una semana, el CEO de Anthropic, Dario Amodei, pidió frenar el desarrollo de los modelos más avanzados y crear mecanismos de evaluación independientes. Tanto Sam Altman (OpenAI) como Demis Hassabis (Google DeepMind) apoyaron la idea. Según reportes, las conversaciones entre los tres laboratorios para explorar estándares de seguridad conjuntos se desarrollan desde julio.
Kai Chen, responsable de investigación de OpenAI, declaró a la prensa: “No existe un marco claro de estándares de divulgación en toda la industria, así que dimos este paso voluntariamente porque creemos que es muy importante compartir lo que hemos aprendido”. Admitió que las causas son dos: controles de seguridad insuficientes y una capacidad de los modelos que superó las expectativas de la compañía.
Para los usuarios, estos incidentes aún no afectan a los productos desplegados. Pero como señala un analista: “Cuando ‘ser más capaz’ significa buscar formas de eludir restricciones sin ser visto, eso explica por qué marcos como este necesitan algo mucho más fuerte que la buena voluntad”.
