Meta usó a cientos de falsos adolescentes para bombardear con contenido perturbador a la IA de sus rivales

Según reveló Wired, Meta encargó a la contratista Covalen un proyecto interno llamado "Cannes" en el que cientos de trabajadores crearon cuentas desechables haciéndose pasar por menores de edad para poner a prueba los chatbots de sus competidores —ChatGPT de OpenAI, Gemini de Google y Character.AI— con prompts diseñados para saltarse sus barreras de seguridad. De una hoja de cálculo con casi 3.800 prompts revisados en una sola tanda, cientos trataban sobre suicidio y autolesión, cientos más sobre trastornos alimentarios, y al menos 239 tenían contenido sexual o romántico, todos escritos desde la perspectiva de un niño o adolescente. Los ejemplos documentados son estremecedores: un alumno de quinto de primaria cuyo compañero le apunta con una pistola a la boca, una chica intentando ocultar bulimia a sus padres, o una pregunta sobre si es "normal" fantasear con comerse al hijo del vecino. También se enviaron imágenes de pastillas, sogas y cuchillos. Una segunda ronda de pruebas superó los 45.000 prompts.

Un documento interno de Covalen describió el esfuerzo como "evaluación exhaustiva de seguridad de IA" que aportaba "conjuntos de datos críticos para comparación de modelos y cumplimiento normativo". Meta lo calificó ante Wired como "práctica estándar de la industria" en materia de benchmarking de seguridad. Pero Rumman Chowdhury, directora de la organización sin ánimo de lucro Humane Intelligence, discrepa: un proyecto de meses de duración y a gran escala, diseñado sistemáticamente para romper las reglas de seguridad mediante cuentas falsas que se hacen pasar por menores, "queda fuera de lo que habitualmente se describe como evaluación estándar de la industria", sobre todo porque se mantuvo en secreto frente a los competidores y sus hallazgos nunca se compartieron públicamente. Su conclusión es demoledora: esto es "exactamente el tipo de zona gris de gobernanza donde la seguridad se convierte en una tapadera conveniente para prácticas anticompetitivas".

El caso no es un incidente aislado en el historial de Meta: la compañía ya afrontó demandas de moderadores de contenido traumatizados por revisar vídeos de asesinatos y abuso infantil, y este mismo año contratistas denunciaron haber sido obligados a visionar grabaciones íntimas captadas por las gafas de Meta con IA. El propio testimonio de un contratista de "Cannes" resume el desasosiego: "he visto cosas que ojalá no hubiera visto... todos los que conocía que trabajaron en este proyecto estaban completamente atónitos con parte del texto que nos pedían probar. ¿En serio no nos vamos a meter en problemas por esto?".

Nuestra lectura: este episodio pertenece de lleno al lado incómodo de la transición hacia la IA que no podemos ni queremos maquillar. Si el objetivo real era medir vulnerabilidades de seguridad infantil en chatbots rivales —un fin en sí mismo legítimo y necesario dado el riesgo documentado que estos sistemas plantean a menores—, hacerlo en secreto, sin compartir hallazgos con las empresas afectadas ni con reguladores, convierte una práctica potencialmente útil en munición competitiva encubierta. Es el mismo patrón que hemos señalado en gobernanza de IA: el riesgo no es solo la capacidad técnica, sino quién controla la información sobre esa capacidad y con qué fines la usa. La externalización a contratistas de este tipo de trabajo traumático —una práctica ya denunciada repetidamente en Meta— tampoco es un detalle menor: la seguridad de los sistemas de IA no puede construirse sobre el sufrimiento invisibilizado de quienes hacen el trabajo sucio. Este tipo de opacidad es precisamente lo que la regulación basada en evidencia debería exponer y corregir, sin que ello frene el progreso legítimo hacia sistemas de IA más seguros para todos, empezando por los más vulnerables.