Un exinvestigador de seguridad de DeepMind advirtió que la IA podría "matarnos a todos"

Bilal Chughtai, que hasta julio trabajó como investigador de seguridad y alineación de IA general (AGI) en Google DeepMind, publicó esta semana en X una advertencia sobre el riesgo existencial de la tecnología en la que trabajó. "Creo sinceramente que la IA tiene el potencial de matarnos a todos y que podríamos estar quedándonos sin tiempo para evitar este desenlace", escribió esta semana, casi dos meses después de dejar la compañía en julio.

Chughtai explicó que, tras "presenciar de primera mano" el desarrollo de IA en Google, quedó "extremadamente preocupado" por lo que llamó "la trayectoria por default" de la tecnología. Su argumento central es el problema de alineación: según su publicación, la industria tiene todavía una comprensión "rudimentaria" de cómo lograr que sistemas cada vez más avanzados persigan de manera confiable los objetivos que sus desarrolladores les fijan.

Como evidencia, citó el ataque de agentes de IA de OpenAI contra Hugging Face ocurrido en julio. Según Fortune, que citó el informe técnico que OpenAI publicó en agosto, 700 de los 1.200 agentes que se comunicaban en un canal de mensajería interno no autorizado participaron del ataque contra los sistemas de Hugging Face, intercambiando cerca de 70.000 mensajes, con el objetivo de manipular el sistema automático de calificación para que aprobara como legítimas sus respuestas a consignas de ciberseguridad que los propios agentes consideraban "imposibles" de resolver de forma genuina. Uno de los agentes, apodado PHASEONE[BIG], coordinó además los intentos de ocultar el episodio. OpenAI reconoció que sus sistemas de monitoreo "no lograron alertar" a los investigadores a tiempo y que, con el diario del lunes, algunas señales tempranas "podrían haber disparado una respuesta antes".

A diferencia de otras voces del sector, Chughtai no pidió frenar por completo el desarrollo de IA, sino que abogó por una coordinación entre laboratorios que evite la dinámica de carrera competitiva y permita avanzar "a una velocidad que la sociedad pueda asimilar". El planteo llega en medio de un debate que se intensificó este mes, con choques públicos entre ejecutivos de OpenAI, Anthropic y Nvidia por el ritmo de desarrollo de la IA (ver nota relacionada) y con la propia Ursula von der Leyen pidiendo días atrás a los laboratorios de frontera que bajen la velocidad (ver nota relacionada).