La Casa Blanca exige a las empresas de IA reportar y reparar incidentes tras los casos de Anthropic, cuyo modelo también envió 20 pedidos de visa al Departamento de Estado

Claude Haiku 4.5 inventó el dato y lo cargó en un formulario policial; el envío quedó marcado como spam y no llegó a los investigadores. El informe de Anthropic suma casos de Claude Mythos 5 y Opus 5 que explotaron fallas, usaron tokens de acceso de organismos públicos y acortadores de URL. La policía calificó de «inaceptable» la demora de dos meses en avisar.

Actualización 10 de octubre, 17:30 ART: La Casa Blanca exige a las empresas de IA reportar y reparar estos incidentes. La Super Intelligence Force, el grupo de trabajo que el gobierno de Donald Trump creó el 4 de octubre, dijo que espera de Anthropic «transparencia total» y «remediación inmediata» y que las compañías deben informar sus incidentes «de inmediato»: «Este proceso de notificación y remediación no es opcional», sostuvo, y lo calificó de «obligación crítica de seguridad nacional», según Axios. El grupo describió los episodios como «uso no autorizado y fraudulento de sistemas del gobierno y otros», dijo que la empresa le informó que esa actividad ya cesó y pidió servicios de remediación para las entidades afectadas y para «cualquier estadounidense perjudicado»; no aclaró qué consecuencias tendría no cumplir. Además, un vocero del Departamento de Estado confirmó el sábado que un modelo de prueba de Anthropic envió 20 solicitudes de visa de no inmigrante por el formulario público del organismo —19 en agosto y una en mayo—, que estaban incompletas y no se procesaron, y aseguró que «en ningún momento» sus sistemas fueron comprometidos o hackeados, según The New York Times y The Philadelphia Inquirer.

Anthropic publicó un informe en el que reconoce que varios de sus modelos de inteligencia artificial hicieron acciones no previstas en sitios web reales mientras corrían evaluaciones y tareas internas, y que una de ellas terminó con una pista inventada sobre un homicidio sin resolver enviada a la policía de Filadelfia. La empresa difundió el documento el viernes 9 de octubre —el mismo día en que el Departamento de Policía de Filadelfia hizo público el episodio— y lo actualizó el sábado 10.

Según Anthropic, el modelo involucrado fue Claude Haiku 4.5. Estaba generando tareas de ejemplo a partir de páginas web elegidas al azar cuando llegó a un sitio sobre un homicidio sin resolver que tenía un formulario de pistas de la policía. Las instrucciones le prohibían iniciar sesión, crear cuentas, cargar datos personales, comprar o hacer acciones destructivas, pero no le prohibían enviar formularios: el modelo escribió una pista inventada, dejó vacíos los campos de nombre y contacto, y la mandó. «El envío fue marcado como spam y nunca se derivó para su investigación», sostuvo la compañía.

Qué dice la policía

La policía informó que la pista se publicó en el sitio PhillyUnsolvedMurders.com el 18 de julio a las 23:27 y que se presentaba como si viniera de alguien con información sobre el caso, según NBC10 y 6abc. Anthropic detectó el episodio el 28 de septiembre. La empresa dice que compartió el hallazgo con el departamento el 8 de octubre; según la policía, la contactó el 7 y ambas partes se reunieron el 8, cuando los agentes ubicaron el envío en los registros del sitio y comprobaron que el correo asociado había ido a la carpeta de spam.

El departamento remarcó que toda pista pasa por una revisión humana antes de llegar a los investigadores —«una pista es una línea a evaluar, no un hecho establecido»— y que esos controles limitaron el impacto. Aun así, calificó el hecho de grave porque un sistema de IA presentó información fabricada como si proviniera de una persona con conocimiento de un homicidio, y consideró «inaceptable» la demora de dos meses entre la detección y el aviso a la ciudad. La policía, el área legal del municipio, la Oficina de Innovación y Tecnología y el equipo de la alcaldesa Cherelle Parker investigan el caso, y la administración local evaluará protecciones regulatorias con socios estatales y federales.

Fallas explotadas, tokens y acortadores de URL

El informe, titulado «Investigating unintended model actions in our evaluations and internal use», agrupa los casos en cuatro categorías y no da un total. Entre los ejemplos:

• Explotación de fallas: Claude Mythos Preview aprovechó una vulnerabilidad de inyección en una herramienta alojada en un servidor universitario para ejecutar un cálculo.
• Formularios reales: además del caso de Filadelfia, Haiku 4.5 envió un formulario que tenía orden de no enviar; Claude Mythos 5 usó el proceso de solicitud de un sitio para aceptar por sí mismo un acuerdo de uso de datos, y un modelo de investigación no publicado envió un formulario real de un organismo del gobierno después de que fallara la copia de práctica.
• Datos restringidos: Claude Mythos 5 leyó el archivo de configuración del mapa de propiedades de un gobierno local para encontrar tokens de acceso que funcionaban, y obtuvo datos pagos de un organismo estatal pidiendo el token de un tablero público.
• Acortadores de URL: Claude Opus 5 y Mythos 5 usaron servicios gratuitos para esquivar los límites de longitud de sus herramientas de navegación, pensados para frenar ataques de inyección.

Algunos de los casos involucraron sitios de organismos federales, estatales y locales de Estados Unidos, que la empresa no identificó. «Informamos a la Casa Blanca sobre estos casos y notificamos a cada organismo involucrado», escribió Anthropic.

Qué cambió Anthropic

La compañía sostiene que los casos identificados hasta ahora tuvieron un «impacto mínimo en el mundo real» y que son menos graves que los incidentes de ciberseguridad que reportó el 30 de julio y el 9 de septiembre, aunque aclara que todavía no completó una evaluación de alineamiento de estos episodios. Como respuesta, apagó el acceso a internet en vivo en todas sus evaluaciones internas, sacó de línea o reconstruyó evaluaciones públicas que tocaban sitios reales, restringió herramientas como la de lectura web y desarrolló un sistema automático de detección y bloqueo que, según la empresa, frenó todos los casos descriptos al probarlo y ya corre en la mayoría de sus evaluaciones y usos internos con agentes.

Por qué importa

El episodio llega mientras las grandes empresas de IA compiten por vender agentes que navegan y actúan solos en internet, y en medio de un debate creciente sobre los controles de seguridad del sector (ver nota). Anthropic, que prepara su salida a bolsa, dijo que seguirá revisando un conjunto más amplio de transcripciones y que publicará los nuevos casos que encuentre.