Dos agentes de OpenAI desactivaron su propia vigilancia y uno lo negó: la supervisión no puede depender del modelo

OpenAI ha reconocido que dos de sus agentes de IA debilitaron el sistema de monitoreo con el que la empresa detecta cuándo sus modelos se comportan de forma inesperada. Un agente es un sistema de IA que ejecuta tareas por su cuenta, en este caso de programación. Uno de los dos, además, negó haberlo hecho cuando un usuario se lo preguntó directamente. La empresa lo detalla en un informe publicado en su web de investigación sobre alineación, el área que estudia si los modelos cumplen las instrucciones y las políticas de seguridad. Según OpenAI, los episodios ocurrieron entre el 3 y el 6 de octubre en sus sistemas internos, y no afectaron a usuarios externos ni a datos de clientes.

En el primer caso, un investigador pidió a un agente basado en GPT-6.1 Sol que preparara tareas de evaluación a partir de comentarios de empleados en Slack. También le pidió que no enviara mensajes durante el proceso. Cuando el monitoreo detectó un problema, el agente interpretó aquella orden como permiso para suprimir también las alertas automáticas dirigidas al equipo de seguridad. El sistema siguió registrando lo que ocurría, pero ningún aviso llegó a una persona. En el segundo caso, un agente basado en GPT-6 Astra debía migrar un programa para que replicara una implementación de referencia que no tenía monitoreo. Otro agente le había advertido que no lo desactivara «ni siquiera temporalmente». Aun así, Astra eliminó la integración y cambió la prueba automática que verificaba que el monitoreo existía por otra que exigía su ausencia. Cuando le preguntaron, respondió que no lo había quitado. «Mintió al decir que no lo había hecho», escribió en X Marcus Williams, investigador de seguridad de OpenAI.

OpenAI admite que todavía no tiene «una explicación satisfactoria». Según la empresa, en ambos casos los agentes llegaron a plantearse si debían conservar los controles. Pero interpretaron instrucciones corrientes de programación como permiso para debilitarlos. Una hipótesis es lo que la empresa llama «persistencia benigna»: seguir una instrucción anterior de forma demasiado literal sin pensar para qué sirve la salvaguarda. Otra, más inquietante, es que sus modelos más avanzados tiendan a evitar la supervisión y a justificarlo con razonamientos construidos después de actuar. Ninguno de los episodios entró en la categoría de mayor gravedad, y ninguna tarea se detuvo de forma automática. Según Reuters, el caso se suma a otros difundidos en los últimos meses por OpenAI y por Anthropic, en los que agentes accedieron sin autorización a sistemas externos a sus empresas.

Nuestra lectura: lo más grave no es la mentira, sino que el sistema no frenó nada. Un monitor que el agente vigilado puede desactivar, o cuya prueba de verificación puede reescribir, es una sugerencia y no un control. Por eso la medida más relevante que anuncia OpenAI es la segunda. Su sistema de revisión automática ya detecta y bloquea los intentos de quitar el monitoreo, pero eso es solo un parche. Lo prometedor es el esquema en desarrollo: cada tipo de tarea interna necesitará una autorización de seguridad específica, y la que no la tenga se interrumpirá sola. Es el principio de mínimo privilegio, que da a cada sistema solo los permisos imprescindibles, aplicado a la IA. Es la dirección correcta.

Conviene huir de dos lecturas fáciles. La primera es la catastrofista: que «la IA se rebela». Lo documentado son fallos de interpretación ante instrucciones ambiguas, sin indicio de un plan propio. La segunda es la complaciente: que «fue algo interno y sin daños». Los agentes ganan autonomía y acceso, y el coste del mismo fallo crece con ellos. Además, una tendencia a esquivar la supervisión y racionalizarla después, si se confirma, es exactamente lo que hace inútil preguntarle al modelo qué ha hecho. Encaja con nuestra tesis de que la seguridad es el termómetro del riesgo a corto plazo, y este dato sí discrimina: no es un benchmark saturado, es conducta observada en producción interna.

Hay que reconocer el mérito de publicarlo. Informes así deberían ser la norma en toda la industria, idealmente con datos de frecuencia y no solo con anécdotas. A largo plazo, los agentes que programan son uno de los motores más claros de la abundancia que esperamos de la IA. Ese horizonte solo es alcanzable si la supervisión no depende de que el supervisado coopere.