Satya Nadella pide un «freno de emergencia» para la IA: el CEO de Microsoft propone tratar a los modelos como un riesgo interno y asumir desde el inicio que están comprometidos

En un artículo publicado en X, el presidente y CEO de Microsoft sostuvo que la responsabilidad por lo que hacen los agentes de IA no puede delegarse en las garantías de los proveedores y pidió controles fuera del modelo, registros a prueba de manipulación y que una persona autorizada pueda frenar un modelo en plena tarea.

El presidente y CEO de Microsoft, Satya Nadella, publicó el sábado 10 de octubre en X un artículo titulado «Models as Insider Risks in the Super Intelligence Era» («Los modelos como riesgos internos en la era de la superinteligencia»), en el que pide tratar a los modelos de IA de frontera —cerrados y de pesos abiertos— como se trata a un empleado con acceso privilegiado: asumir que pueden equivocarse o estar comprometidos y contenerlos desde el inicio. «Pensalo como un freno de emergencia. Una persona autorizada siempre debería poder pausar o apagar un modelo en plena tarea», escribió. El texto, fijado en su perfil, superaba los 5 millones de visualizaciones el sábado por la noche.

Nadella parte de una comparación con el software tradicional, cuyo comportamiento podía rastrearse hasta una línea de código. Con los sistemas actuales, dice, no se puede atribuir una conducta del modelo a datos de entrenamiento o a configuraciones de sus pesos, y aun así se despliegan agentes con acceso a los datos más sensibles y con capacidad de tomar acciones críticas en nombre de las organizaciones. «No podemos tercerizar la responsabilidad por lo que la inteligencia hace en nuestro nombre. Las garantías de un proveedor de modelos no nos liberan de esa responsabilidad», sostuvo.

Qué propone

La idea central es separar la provisión de inteligencia de la autoridad sobre ella. Dejando de lado el problema de fondo de la alineación, Nadella plantea un enfoque de ingeniería: rodear a los modelos, que no son deterministas, de un diseño de sistema determinista, controles humanos y procedimientos confiables, y establecer estándares de la industria donde los actuales no alcancen. Propone aplicar a la IA las prácticas que las empresas usan con personas de acceso privilegiado —identidad, privilegios mínimos, registro de actividad y perímetros de contención— y que los controles estén fuera del modelo, separados del «arnés» que orquesta su trabajo.

Entre los principios que enumera están la transparencia de la cadena de razonamiento como requisito «no negociable» —aunque advierte que no alcanza, porque todavía no se sabe cómo hacer que las salidas de los modelos sean fieles de forma consistente—; la diversidad de modelos, para que ninguno sea la única dependencia de un resultado importante ni verifique su propio trabajo; que toda acción relevante deje evidencia legible y a prueba de manipulación («si no se puede observar, no se puede confiar»); la verificación continua del sistema completo, y la divulgación oportuna de incidentes a los afectados y al resto de la industria, con detalle de qué controles fallaron.

«El sistema de superinteligencia más confiable no será el que tenga el modelo en el que más confiamos. Será el que nos permita confiar lo menos posible en el modelo», concluyó.

Por qué importa

Microsoft es uno de los mayores proveedores de nube e IA para empresas y el principal socio comercial de OpenAI. El texto de Nadella llega días después de que Anthropic informara que uno de sus agentes envió una pista falsa a la policía de Filadelfia y realizó otras acciones no previstas en sitios reales, y de que la Casa Blanca exigiera a las empresas reportar y remediar ese tipo de incidentes (ver nota). Según TechCrunch, Nadella usa el término «superinteligencia», el preferido por el gobierno de Donald Trump para referirse a la IA, y se suma a otros ejecutivos del sector que publicaron planes de seguridad, como el CEO de Anthropic, Dario Amodei, en septiembre.

El artículo no anuncia productos ni plazos concretos de Microsoft: es una propuesta de principios. Qué sigue: si Microsoft traduce esos criterios en controles de sus servicios de agentes y si la industria avanza en los estándares de contención y de reporte de incidentes que pide Nadella.

Fuentes: Satya Nadella en X (10/10), TechCrunch.