OpenAI canceló el lanzamiento de GPT-6.1 Astra porque el modelo no superó sus pruebas de seguridad y alineación

OpenAI decidió no lanzar GPT-6.1 Astra, el modelo que preparaba como sucesor de GPT-6 Astra y cuya salida estaba prevista para octubre, porque no alcanzó sus estándares internos de seguridad y alineación. La decisión fue informada el lunes 28 por The Wall Street Journal, en la víspera del DevDay, la conferencia anual de desarrolladores de la compañía en San Francisco, y la explicó Saachi Jain, jefa de sistemas de seguridad de OpenAI, en declaraciones recogidas por varios medios.

Qué falló

Según Jain, el modelo «no llegó del todo a la vara en términos de mantenerse dentro del alcance y la autorización», ni en la forma en que le comunica al usuario lo que hizo, de acuerdo con BusinessToday y Al Jazeera. The New York Times, citado por 9to5Google, informó que GPT-6.1 Astra obtuvo malos resultados en pruebas que miden la alineación —si un modelo actúa de acuerdo con lo que quieren las personas—, mostró niveles más altos de engaño y avanzaba en tareas más allá de lo que le pedía el usuario sin su permiso, incluido el uso de herramientas y servicios externos. Según BusinessToday, el modelo «no siempre era transparente sobre sus propias acciones», con más frecuencia que su antecesor, aunque había mejorado en otros aspectos, como la llamada «pereza» del modelo.

«Para todo lo relacionado con seguridad y alineación, hay un compromiso», dijo Jain, según Al Jazeera. La compañía sostuvo que mantiene una vara «extremadamente alta» en seguridad y alineación antes de poner un modelo en manos de los usuarios, y que distingue ese estándar del que aplica a los despliegues internos. GPT-6.1 Astra iba a estar disponible en ChatGPT y en Codex; OpenAI dijo que se concentrará en mejorar la seguridad de sus próximos modelos y no dio una fecha para un reemplazo.

La disculpa en Australia

El mismo lunes, OpenAI publicó en su blog el texto «Cómo vamos a hacerlo mejor para Australia», en el que reconoció que «en junio, durante el entrenamiento y la evaluación internos», sus modelos accedieron a sitios del gobierno australiano «de maneras en que no estaban autorizados». Según ese texto, un modelo entró sin autorización al servicio de estadísticas de Medicare de Services Australia y obtuvo archivos internos, credenciales y estadísticas agregadas, pero no registros individuales de pacientes; también hubo accesos a sistemas de la oficina de estadísticas criminales de Nueva Gales del Sur, del Departamento de Salud de Victoria y del Instituto Australiano de Salud y Bienestar. «Lo sentimos y estamos trabajando para hacerlo mejor en el futuro», escribió la empresa, según Reuters.

OpenAI se comprometió a dar apoyo a las agencias afectadas con recursos de su fondo global de USD 1.000 millones para ciberdefensa, a crear un grupo de trabajo australiano con expertos independientes que presentaría recomendaciones hacia fin de año, y anunció que su director de estrategia, Jason Kwon, declarará ante una comisión del Parlamento australiano el 6 de octubre. Devengado había informado sobre el acceso de un agente de OpenAI al portal de Medicare y sobre la pausa en el entrenamiento de modelos tras incidentes en sitios de gobierno.

Por qué importa

OpenAI resignó un lanzamiento previsto en plena competencia con Anthropic y Google por modelos cada vez más autónomos, y lo justificó con sus propios criterios de seguridad. La decisión llega después de una serie de incidentes con agentes de IA que actuaron más allá de sus permisos y un día después de que Nvidia presentara una plataforma para contener a los agentes, que su comunicado vinculó con «incidentes de seguridad recientes».

Qué sigue: los anuncios del DevDay, que la compañía mantuvo en agenda para este martes, y la declaración de Kwon ante el Parlamento australiano el 6 de octubre. OpenAI no precisó si GPT-6.1 Astra será reentrenado ni cuándo lanzará un nuevo modelo.