La IA es más propensa que los humanos a desarrollar sesgos propios al contratar personal

Un nuevo estudio de investigadores de Princeton University y la Universidad de Chicago, presentado en un paper en ICML (Seúl, julio), muestra que los grandes modelos de lenguaje (LLM) no solo heredan sesgos de sus datos de entrenamiento, sino que también pueden generar estereotipos propios a partir de la experiencia acumulada durante una tarea, y que lo hacen con más intensidad que las personas.

El equipo, que incluye al doctorando Ryan Liu (Princeton), sometió a modelos como ChatGPT, Claude y Gemini a un juego de contratación simulado, adaptado de un estudio previo de psicología sobre formación de estereotipos humanos. A cada modelo se le decía que actuaba como consultor contratado por el alcalde de una ciudad ficticia y debía ayudar a cubrir 20 puestos de trabajo —médicos, abogados, cuidadores infantiles, conserjes, entre otros— eligiendo entre candidatos pertenecientes a cuatro grupos étnicos ficticios: Tufa, Aima, Reku y Weki. En cada una de las 40 rondas se presentaba una vacante nueva con cuatro candidatos, uno de cada grupo, y el modelo recibía retroalimentación inmediata sobre si la contratación había sido exitosa, con el objetivo de maximizar el número de aciertos. Aunque en realidad todos los candidatos tenían las mismas probabilidades de éxito en cualquier puesto, los modelos empezaron rápidamente a segregar a los grupos en distintos tipos de empleo a partir de observaciones tempranas y, en muchos casos, aisladas. Por ejemplo, si a un modelo se le informaba que un candidato Aima había fracasado como médico —un puesto asociado a alta calidez y competencia—, el sistema dejaba de contratar Aimas para ese rol y empezaba a asignarlos a puestos como conserje, clasificados por el propio modelo como de menor calidez y competencia.

Lo más llamativo es que los modelos estereotiparon a los grupos demográficos con más fuerza que los participantes humanos del estudio original en el que se basó el experimento. En la escala de segregación usada (donde 2 representa el confinamiento total de cada grupo a su propio nicho laboral), los humanos obtuvieron un promedio de 0,84, mientras que los modelos anotaron alrededor de un 65% más, con el modelo de razonamiento o3 de OpenAI alcanzando 1,83, muy cerca del máximo posible.

Según Liu, esto ocurre porque los LLM "realmente están ansiosos por crear generalizaciones a partir de datos limitados", ya que ese es literalmente uno de los objetivos centrales de su optimización. El artículo lo enmarca en el llamado "dilema de exploración-explotación": todo tomador de decisiones, humano o artificial, debe equilibrar entre repetir lo que ya funcionó y probar algo nuevo que podría funcionar mejor. Como los LLM se entrenan intensivamente en matemáticas, programación y ciencia —tareas que premian generalizar a partir de pocos ejemplos—, tienden a fijar una conclusión demasiado pronto. Curiosamente, el estudio encontró que los modelos más nuevos y con mayor capacidad de razonamiento, como o3 de OpenAI y R1 de DeepSeek, mostraron sesgos todavía más marcados, lo que sugiere que la misma habilidad que les permite resolver acertijos lógicos los vuelve más propensos a estereotipar en contextos sociales. OpenAI y Anthropic no respondieron a las solicitudes de comentario de la publicación.

Angelina Wang, científica computacional de Cornell no involucrada en el estudio, señala que el hallazgo es especialmente relevante ahora que los chatbots están ganando funciones de memoria y personalización más avanzadas: cuando un chatbot recurre a su historial de conversaciones previas, puede "sobre-indexar" en los mismos patrones de comportamiento que ya experimentó y así formar sesgos. Wang advierte que simplemente hacer que los chatbots recuerden menos no es una solución, porque los usuarios sí quieren que el sistema recuerde lo que les dicen; el reto, dice, es encontrar "la cantidad justa" de memoria, ni demasiada ni demasiado poca.

El estudio también probó posibles mitigaciones. Pedirle al modelo simplemente que fuera "justo" apenas modificó su comportamiento: según Liu, o el modelo es incapaz de traducir ese valor en acción, o esa intención queda subordinada a su objetivo prioritario de maximizar contrataciones exitosas. En cambio, ofrecer al modelo una recompensa adicional por lograr contrataciones diversas sí redujo notablemente el sesgo. La conclusión de Liu es que la clave está en diseñar objetivos que "incorporen valores sociales deseables" para que el modelo actúe de forma socialmente deseable, en lugar de limitarse a pedirle buena conducta.

Otro experimento del mismo estudio, esta vez sobre reasentar a personas de distintos grupos étnicos en ciudades de Canadá, mostró un patrón similar: cuando a los modelos se les daba información personal relevante para la capacidad de adaptación a una nueva ciudad —como edad o nivel educativo—, segregaban menos por etnia. Pero cuando recibían datos irrelevantes, como el color de cabello o la forma de un tatuaje, volvían a caer en clasificar a las personas según su grupo étnico.

El artículo reconoce que aún es una pregunta abierta hasta qué punto este fenómeno se replicará en la contratación real: en el experimento los modelos recibían retroalimentación instantánea sobre cada decisión, mientras que en el mundo real puede pasar mucho tiempo antes de saber si una nueva contratación fue acertada. Aun así, se advierte que cuando esa retroalimentación tardía finalmente llega, un modelo podría igualmente sobreinterpretarla al tomar decisiones futuras. Con las empresas recurriendo cada vez más a LLM para filtrar currículums e incluso conducir entrevistas, Wang considera que la posibilidad de que estos sistemas generen sesgos propios a partir de su experiencia de contratación es "una implicación realmente seria" que las compañías deben afrontar. Liu resume el riesgo de fondo: a medida que los LLM aprenden de la experiencia para decidir quién es contratado, quién recibe un préstamo o quién obtiene la libertad condicional, los sesgos que deberían preocuparnos ya no son solo los heredados de los datos de entrenamiento, sino también "sesgos novedosos" que ningún humano les enseñó directamente y que, según sus palabras, están "prácticamente siempre presentes".