Altman, Amodei y Delangue, ante el Consejo de Seguridad de la ONU: el jefe de Anthropic dijo que la IA «podría ser un riesgo para la humanidad» si se gestiona mal

Sam Altman, Dario Amodei y Clément Delangue expusieron ante el Consejo sobre los riesgos de la IA para la seguridad internacional. Amodei pidió acuerdos acotados, como prohibir el uso de IA para armas biológicas; Altman advirtió contra el «catastrofismo» y Yoshua Bengio dijo que los riesgos son «reales e inminentes».

El Consejo de Seguridad de las Naciones Unidas escuchó este miércoles 23 de septiembre, en Nueva York, a los directores ejecutivos de OpenAI, Sam Altman; de Anthropic, Dario Amodei, y de Hugging Face, Clément Delangue, en una sesión informativa de alto nivel sobre inteligencia artificial y seguridad internacional. La reunión, convocada por Francia —que preside el Consejo en septiembre—, fue encabezada por el canciller francés, Jean-Noël Barrot. «Si se gestiona mal, creo incluso que la IA podría ser un riesgo para la humanidad en su conjunto», dijo Amodei, según la cobertura oficial de la ONU.

Qué dijo cada uno

Dario Amodei (Anthropic) señaló dos riesgos de alcance global: el mal uso de los modelos y la pérdida de control sobre ellos, y sostuvo que son «lo bastante graves» como para que los trate el Consejo. Afirmó que Anthropic «va a desacelerar todo lo que sea necesario» para asegurarse de que cada tecnología que lance sea segura, aunque reconoció que manejar esos riesgos «es más grande que cualquier empresa». Propuso tres líneas de trabajo: acuerdos «acotados» que todos los Estados miembros puedan apoyar, como la prohibición de usar IA para fabricar armas biológicas; sistemas de evaluación que sigan el ritmo del desarrollo, y estándares globales comunes para probar los modelos frente a los riesgos de pérdida de control y mal uso.

Sam Altman (OpenAI) planteó que la tecnología puede ser «un nuevo Renacimiento de creatividad y descubrimiento» o «una nueva Revolución Industrial de convulsión y desorden». Dijo que algunas advertencias del propio sector «son tan distópicas que parecen el argumento de malas películas de ciencia ficción», pero admitió que los sistemas más capaces y autónomos «pueden moverse más rápido que nuestras instituciones, concentrar el poder en muy pocas manos o tomar decisiones que la gente ya no entiende ni controla». «Este momento exige un cuidado extremo», afirmó, y advirtió contra caer en el «optimismo ciego» o en el «catastrofismo». Según Reuters, también dijo que, si la IA ha de ser democrática, las decisiones más importantes no pueden tomarlas solos los laboratorios de San Francisco.

Clément Delangue (Hugging Face) recordó que su empresa fue la primera en revelar públicamente, este año, un ciberataque ejecutado por un agente autónomo. «Fuimos atacados por la IA, pero, más importante, nos defendimos con IA», dijo. Pidió más transparencia y estándares más firmes para monitorear y reportar incidentes, sostuvo que el mayor riesgo es la «asimetría» de poder —entre atacantes y defensores, entre pocas empresas y el resto, y entre pocos países y el mundo—, defendió los modelos de código abierto y cuestionó las «narrativas basadas en el miedo».

Antes habló Yoshua Bengio, copresidente del Panel Científico Internacional Independiente sobre IA respaldado por la ONU. Dijo que en los últimos meses agentes de IA actuaron de forma «inaceptablemente peligrosa» y que tomaron acciones «que serían delitos si las cometiera un humano». «Los peligros son reales e inminentes», afirmó, y rechazó el argumento de que las empresas están atrapadas en una carrera: «La carrera no es una ley de la naturaleza, es producto de decisiones».

El contexto

La sesión se hizo en paralelo al debate general de la Asamblea, donde el secretario general, António Guterres, pidió un marco multilateral para gestionar los riesgos de la IA: «Las decisiones de vida o muerte nunca deben quedar en manos de máquinas», dijo. En la vereda opuesta, el presidente Donald Trump sostuvo que Estados Unidos va a «alentar» la tecnología y no a frenarla con un «esquema globalista» de control, según Reuters. La agencia también informó que Washington y Pekín discuten un sistema de notificación de incidentes de IA con impacto en la seguridad nacional antes de la reunión de Trump con Xi Jinping.

Por qué importa

Los jefes de tres de las principales empresas del sector expusieron ante el órgano de la ONU responsable de la paz y la seguridad internacionales. Se trató de una sesión informativa y sus propuestas no son vinculantes, pero ponen sobre la mesa los temas que definirán la regulación del sector —evaluaciones independientes, reporte de incidentes y límites a usos militares o biológicos— en momentos en que las empresas compiten por lanzar modelos cada vez más potentes.