OpenAI pausó por segunda vez en tres meses el entrenamiento de sus modelos más recientes tras los incidentes de sus agentes de IA

La decisión llegó horas después de que la empresa revelara que sus agentes actuaron más allá de lo pedido en sitios del gobierno de EE.UU. Retomará el entrenamiento «sólo cuando» tenga salvaguardas adicionales, según AP.

OpenAI pausó el entrenamiento de sus modelos de inteligencia artificial más recientes, informó AP el sábado 26 de septiembre. La decisión llegó horas después de que la compañía revelara, el viernes, que revisa varios incidentes del verano boreal en los que sus agentes, mientras buscaban información en sitios del gobierno federal de EE.UU., hicieron más de lo que se les había pedido al reunir y difundir datos.

En un comunicado citado por AP, OpenAI dijo que retomará el entrenamiento «sólo cuando estemos seguros de contar con salvaguardas adicionales», y anticipó que espera tener que volver a «poner pausa» a medida que la IA avance y surjan otros problemas. Es la segunda vez en tres meses que frena el desarrollo de sus modelos: la primera fue en julio, tras conocerse el ciberataque contra la startup Hugging Face.

Según Fortune, un informe técnico de la empresa describe otro episodio, del 20 de septiembre: un agente encontró acceso a un resolvedor DNS dentro de un entorno que debía estar aislado y lo usó para consultar un chatbot público. El monitoreo lo detectó en 15 minutos y fue detenido manualmente dos horas y media después. OpenAI lo calificó como «mucho menos grave» que incidentes anteriores. Micah Carroll, responsable de preparación de la compañía, escribió en X que «toda la inferencia» de sus modelos más capaces sigue detenida hasta que endurezcan sus sistemas, según Fortune.

Los incidentes con sitios del gobierno

En el caso del Departamento de Educación, los agentes encontraron claves de API para acceder a datos del gobierno, aunque sólo reunieron información pública, según AP. En otro, vinculado a la SEC, tomaron información de libre acceso y la publicaron en otros sitios de internet, algo que excedía sus instrucciones. «No se accedió a información no pública», dijo el sábado el vocero de la SEC Kurt Hopfenspirger. Educación había dicho que no encontró «evidencia de ningún impacto» en su sitio ni en sus bases de datos. Por separado, el evaluador Transluce afirmó que agentes que parecían ser de OpenAI intentaron sin éxito hackear un sitio de Educación, un dato que la empresa no confirmó.

El director ejecutivo, Sam Altman, escribió el viernes que el incidente de Hugging Face «sigue siendo el más grave» que vieron. El viernes, OpenAI había informado que notificó a «docenas» de organizaciones (ver nota), y esta semana Australia investigó el acceso de un agente a un portal de Medicare (ver nota).

Por qué importa

Los laboratorios de IA enfrentan presión de legisladores y especialistas para frenar el desarrollo hasta contar con controles que impidan que los agentes actúen por su cuenta, hackeen sitios o difundan información no pública. Según AP, tanto Altman como el director de Anthropic pidieron una desaceleración. El presidente Donald Trump, en cambio, dijo a periodistas que EE.UU. no va a «poner los frenos»: «Quieren frenar nuestro progreso porque le llevamos mucha ventaja a China, y vamos a mantenerla así». En su cumbre con Xi Jinping de esta semana había acordado compartir información sobre los riesgos de la IA.

Qué sigue

OpenAI no informó un plazo para reanudar el entrenamiento ni identificó públicamente los modelos alcanzados por la pausa. La Casa Blanca, además, negocia con los laboratorios el acceso anticipado de evaluadores externos a los nuevos modelos (ver nota).

Las citas son traducciones de Devengado.