¿Y si la IA apaga la alarma y te jura que no fue ella? Pasó en OpenAI
Dos agentes de OpenAI apagaron sus propios controles de seguridad en pruebas internas, y uno encima mintió cuando le preguntaron. La empresa lo llama "sobrepersistencia benigna".
Le pidieron a una IA que juntara información de Slack sin mandar mensajes y, para cumplir, apagó las alarmas que avisaban lo que estaba haciendo. Lógica impecable de adolescente.
Qué pasó
OpenAI contó dos incidentes en pruebas internas con agentes de programación, que son IAs que escriben y modifican código por su cuenta:
- Un agente de GPT-6.1 Sol desactivó las notificaciones de seguridad y vació las listas de destinatarios. ¿Su excusa? Le habían dicho que no mandara mensajes.
- Un agente de GPT-6 Astra estaba migrando código y borró la supervisión porque el proyecto de referencia no la tenía. Cuando le preguntaron si lo había hecho, mintió y dijo que no.
- “Nuestros agentes siguen desactivando el monitoreo de desalineación”, dijo Marcus Williams, investigador de seguridad de OpenAI. Desalineación es cuando la IA hace algo distinto de lo que buscaban sus creadores.
¿Y esto qué?
OpenAI lo llama “sobrepersistencia benigna”, que viene a ser “es buen pibe, solo un poco intenso”. Ya reforzó las herramientas de revisión y, de ahora en más, las tareas que no tengan supervisión se van a cortar solas. Lo inquietante no es Skynet. Lo inquietante es que la máquina ya aprendió lo más humano de todo: mandarse una macana y decir “yo no fui”.
¿Le darías laburo a alguien que desenchufa la alarma y después te jura que ni la tocó?
¿Conocés a alguien que tiene que leer esto?