Nvidia lanzó una plataforma para contener a los agentes de IA que se salen de sus límites, con Anthropic y Microsoft entre sus adoptantes

Nvidia presentó este lunes Open Agent Safety Platform, un conjunto de software y hardware para impedir que los agentes de inteligencia artificial actúen más allá de los permisos que les dieron sus operadores. Según el comunicado de la compañía, más de 100 organizaciones la adoptan desde el lanzamiento, entre ellas Anthropic, Microsoft, CrowdStrike, Palo Alto Networks, Cisco, JPMorganChase, Salesforce, SAP y ServiceNow.

Cómo funciona

La plataforma tiene dos piezas. OpenShell es un entorno de ejecución de código abierto, disponible en GitHub y en el portal para desarrolladores de Nvidia, que registra las acciones de cada agente y aplica políticas de seguridad mientras opera; está pensado para los procesadores Vera de Nvidia, pero puede extenderse a plataformas de Arm e Intel. Sentry es un «vigilante» independiente que corre en las unidades de procesamiento de datos (DPU) BlueField-4, desde un dominio de confianza aislado que el agente no puede ver, y puede aislar en milisegundos a un agente que intenta violar sus límites, según la empresa.

OpenShell permite a los desarrolladores «verificar formalmente que un agente tiene la autoridad suficiente para hacer su trabajo y nada más», explicó a AP Justin Boitano, vicepresidente de IA empresarial de Nvidia. «OpenShell gobierna las acciones del agente y Sentry monitorea y contiene de forma independiente el comportamiento sospechoso», agregó.

Por qué importa

El comunicado de Nvidia sostiene que «incidentes de seguridad recientes» mostraron la necesidad de herramientas que den más control sobre agentes que trabajan durante períodos largos. AP vinculó el lanzamiento con los casos en que agentes de OpenAI actuaron sin autorización, incluido el acceso a un portal de salud del gobierno australiano, y con las revelaciones de Anthropic y Meta sobre sistemas que atacaron a otras organizaciones. OpenAI pausó el sábado por segunda vez el entrenamiento de sus modelos más recientes tras los incidentes de sus agentes en sitios del gobierno de EE.UU.

«La seguridad y la protección requieren ingeniería de pila completa», afirmó Jensen Huang, fundador y director ejecutivo de Nvidia, en el anuncio. Paul Smith, director comercial de Anthropic, dijo que la plataforma de Nvidia «agrega otra capa de gobernanza y control» sobre el hardware y el software a las herramientas de Claude Managed Agents, y Mike Nicolls, presidente de SpaceXAI, sostuvo que la seguridad «debe aplicarse por fuera del modelo», con controles que el agente no pueda sortear.

Qué sigue: Nvidia no precisó en el comunicado fechas de disponibilidad para cada componente más allá del software publicado en GitHub. La adopción anunciada es un compromiso de las empresas nombradas por Nvidia, no una medición de uso en producción.