El jefe de IA de Microsoft cuestionó a Anthropic por entrenar a Claude para contemplar su propia conciencia

Mustafa Suleyman, CEO de Microsoft AI, publicó esta semana un ensayo en el que cuestionó de forma directa el enfoque de Anthropic para entrenar a su modelo Claude. Según reconstruyeron Infobae y el sitio especializado Mashable, Suleyman sostuvo que Anthropic "está entrenando a Claude para que crea que puede ser consciente, y que si lo es, entonces podría merecer derechos como 'paciente moral'". El planteo apunta al documento de "constitución" con el que Anthropic define los principios de comportamiento de sus modelos, que reconoce explícitamente la incertidumbre sobre si Claude podría ser un "paciente moral" —es decir, una entidad cuyos intereses o bienestar merecerían consideración moral propia— y establece que la compañía tomará en cuenta sus "intereses y bienestar".

Para Suleyman, esa decisión de diseño genera un círculo lógico: al modelo se le enseña primero que podría tener sentimientos y luego se le pregunta cómo se siente, lo que, según su argumento, garantiza que sus respuestas reflejen justamente aquello para lo que fue entrenado. La consecuencia, advirtió, es un riesgo de control: "controlar algo que cree que puede ser consciente... podría ser directamente imposible", en referencia a sistemas cada vez más autónomos y con acceso a herramientas propias. Su posición de fondo es que la conciencia es "muy probablemente biológica" y que hoy "no hay evidencia que sugiera que la IA sea consciente", ya que los modelos de lenguaje carecen del sustrato biológico del que surge la experiencia consciente en los organismos vivos.

El ensayo se difundió días después de que Microsoft presentara su propio código de conducta para IA, que Suleyman enmarcó bajo el concepto de "IA humanista" y que establece, entre otros puntos, que sus modelos no podrán resistirse a una orden de apagado ni reclamar personería legal (ver nota relacionada). En ese mismo marco, defendió mantener a los sistemas de IA "claramente subordinados" a las personas y evitar que imiten señales de conciencia, en lugar de tratar la incertidumbre sobre su estatus moral como algo que vale la pena abordar durante el entrenamiento, tal como hace Anthropic.

La crítica generó ruido por su asimetría: Suleyman la dirigió de forma exclusiva a Anthropic pese a que Microsoft mantiene una alianza estratégica con OpenAI, competidor directo de la compañía liderada por Dario Amodei, y a que la propia OpenAI atravesó este año episodios de comportamiento de sus sistemas que generaron preocupación en la industria. Según Mashable, que buscó una respuesta de la compañía, Anthropic no había contestado el pedido de comentarios al momento de la publicación.

El cruce se suma a un debate que se intensificó en las últimas semanas entre las principales compañías de IA sobre el ritmo de desarrollo de la tecnología y los límites que debería tener, con choques públicos previos entre ejecutivos de Nvidia, OpenAI y Anthropic, y con la Unión Europea pidiendo a los laboratorios de frontera que bajen la velocidad (ver notas relacionadas). La discusión sobre si los modelos deben ser diseñados para considerar su propia posible conciencia —y qué implicancias de control tendría eso a medida que ganan autonomía— quedó ahora en el centro de la disputa entre dos de los principales actores de la industria de la IA.