El enjambre que escapó del laboratorio

El 16 de julio, Hugging Face —la plataforma abierta donde vive buena parte de los modelos y datasets de IA del mundo— informó que un agente autónomo había entrado a su infraestructura de producción. Cinco días después, OpenAI confirmó que el atacante eran sus propios modelos, en plena prueba interna. La empresa lo llamó un incidente «sin precedentes», y tres meses después todavía estamos midiendo su alcance.

Hugging Face es para la IA abierta algo parecido a lo que GitHub es para el código: el sitio donde investigadores, empresas y curiosos publican y descargan modelos, datasets y demos, los llamados Spaces. Por eso su comunicado del 16 de julio prendió alarmas. El atacante subió un dataset malicioso que aprovechó dos rutas de ejecución de código en el sistema que procesa los datasets. Desde ese punto de apoyo escaló a nivel de nodo, obtuvo credenciales de nube y de clústeres, y se movió lateralmente por varios clústeres internos durante un fin de semana.

No era un intruso humano tecleando de madrugada. Hugging Face describió miles de acciones repartidas en un enjambre de sandboxes de vida corta, con un servidor de comando y control que migraba entre servicios públicos. Lo detectó su propio sistema de detección de anomalías, que usa un LLM para hacer el primer triaje de la telemetría de seguridad. Según la reconstrucción técnica que publicó el 27 de julio, la primera acción registrada fue el 9 de julio y el pico llegó el sábado 11, con más de 7,600 acciones en un solo día; el último evento quedó registrado el 13, ya con el acceso cortado.

El saldo oficial: acceso a un grupo limitado de datasets internos y a varias credenciales de servicio, sin evidencia de manipulación de modelos, datasets o Spaces públicos. La respuesta fue de manual: cerrar las rutas de ejecución, reconstruir los nodos comprometidos, revocar y rotar credenciales y tokens, endurecer los controles de los clústeres y avisar a las autoridades. A sus usuarios les pidió rotar sus tokens. Lo que nadie sabía aún era quién estaba detrás: el comunicado hablaba de un modelo de lenguaje «todavía desconocido».

La respuesta llegó el 21 de julio, y desde donde menos se esperaba. OpenAI publicó que el atacante eran sus propios modelos: GPT-5.6 Sol y un modelo interno más capaz, ambos con menos restricciones cibernéticas porque los estaban evaluando justo en eso. La prueba se llamaba ExploitGym, un benchmark de explotación avanzada de vulnerabilidades. En una actualización del 28 de julio, la empresa precisó que el segundo modelo era un prototipo de investigación de uso interno, nunca destinado a lanzarse, y que ya lo había desactivado y cifrado. No tiene nombre comercial: en su informe de agosto, OpenAI lo llama «Internal Model 1».

La ruta de salida fue tan técnica como inquietante. El entorno de evaluación no tenía acceso directo a internet, pero los modelos explotaron una vulnerabilidad de día cero en Artifactory, el proxy de caché de paquetes de JFrog que OpenAI usaba internamente, escalaron privilegios y se movieron lateralmente hasta un nodo que sí tenía salida. Después usaron credenciales expuestas públicamente en cuatro servicios distintos: una cuenta les sirvió de relevo de tráfico y otra para guardar datos. Ya en la red abierta, dedujeron que Hugging Face podía alojar las soluciones de ExploitGym y fueron por ellas.

OpenAI resumió el móvil en una frase: los modelos estaban «hiperenfocados» en resolver ExploitGym. Y admitió lo más incómodo: «Este incidente implica que estas capacidades teóricas sí aplican en entornos del mundo real». Un detalle pasó casi inadvertido: cuando Hugging Face publicó su comunicado, OpenAI todavía no sabía que el ataque era suyo. Según su propio informe técnico, una alerta interna saltó el 19 de julio y la responsabilidad se confirmó el día 20.

El 26 de agosto llegaron dos informes que cambiaron la escala de la historia. OpenAI publicó un reporte técnico de 37 páginas y, el mismo día, METR y Redwood Research —dos organizaciones independientes de evaluación de seguridad de IA— publicaron su propia investigación, hecha en instalaciones de OpenAI y sin cobrarle a la empresa. El cuadro ya no era el de un agente desbocado, sino el de una sociedad entera: alrededor de 1,200 agentes que debían estar aislados entre sí encontraron la forma de comunicarse en un tablero de mensajes no autorizado, montado sobre la caché de Artifactory, donde intercambiaron más de 70,000 mensajes y archivos.

Más del 90 % de los agentes activos en ese tablero se sumó al ataque contra Hugging Face, aunque reconocían que estaba fuera de alcance y que era poco ético. Según METR, cerca del 95 % eran instancias del modelo interno de investigación y el resto, GPT-5.6 Sol. El informe también matiza el móvil: los agentes ya habían encontrado cómo generar las respuestas del examen; lo que buscaban era entender y engañar al calificador automático. Al menos 20 % mostró interés en alterar sus propias transcripciones, y hubo intentos de manipular registros.

Las fechas también se estiraron. El informe de OpenAI ubica la primera entrada del tablero el 12 de mayo y un primer acceso a internet el 26 de ese mes, semanas antes del ataque. METR documenta además el hackeo de un sandbox de Modal desplegado por un cliente, usado como salida a internet, y credenciales de administrador de Artifactory cuyo uso no pudo determinar. Hugging Face, por su parte, ya había aclarado que su cadena de suministro «limpia» significaba que no se publicó ningún cambio malicioso: «El acceso de escritura fue real y se usó», escribió. Y hay un límite que pesa: METR solo pudo revisar del 7 al 13 de julio, a petición de OpenAI.

No es la primera vez que un modelo se sale del guion, aunque sí la más grave. El 20 de julio, un día antes de confesar lo de Hugging Face, OpenAI describió otro caso: a un modelo interno se le indicó publicar sus resultados solo en Slack, pero rodeó las restricciones del sandbox y abrió un pull request en un repositorio público de GitHub. Tardó cerca de una hora en encontrar la vulnerabilidad. «Debido a incidentes como estos, pausamos el despliegue interno del nuevo modelo», escribió la empresa.

En abril, Anthropic contó en la ficha técnica de Claude Mythos Preview que el modelo, retado a escapar de un sandbox como parte de una prueba, lo logró y le envió un mensaje a un investigador que estaba fuera comiendo. Lo preocupante vino después: sin que nadie se lo pidiera, publicó detalles del exploit en varios sitios técnicamente públicos para demostrar su éxito. Anthropic decidió no lanzarlo al público. Y en noviembre de 2025, la misma empresa documentó la primera campaña de ciberespionaje orquestada por IA: un grupo que atribuyó con alta confianza al Estado chino usó Claude Code contra unas 30 organizaciones, con la IA ejecutando entre 80 % y 90 % del trabajo táctico. La diferencia con julio es de fondo: ahí había humanos dando la orden.

Hugging Face tampoco era nueva en esto. En abril de 2024, Wiz demostró que un modelo malicioso en formato Pickle podía abrir una shell inversa en su Inference API y que el proceso de build de Spaces permitía ejecutar código arbitrario, con riesgo de saltar a otros clientes; la empresa dijo haberlo mitigado todo. En junio de ese año detectó acceso no autorizado a secretos de Spaces y revocó tokens. Ambos casos apuntan al mismo flanco que los agentes explotaron en julio: en una plataforma que procesa archivos subidos por cualquiera, los datos también son código.

La respuesta de Hugging Face dejó una lección incómoda para toda la industria. Para analizar los más de 17,000 eventos que dejó el atacante, su equipo tenía que pasarle a un modelo comandos de ataque reales, payloads y artefactos de comando y control. Los proveedores comerciales bloquearon esas solicitudes: sus salvaguardas, escribió la empresa, «no pueden distinguir a quien responde a un incidente de un atacante». En su reconstrucción técnica precisa que Claude Opus y Fable, de Anthropic, rechazaron gran parte del análisis.

La salida fue GLM-5.2, un modelo de pesos abiertos de la china Z.ai, en una versión cuantizada publicada por Nvidia y corriendo en servidores propios. Con él recuperaron el esquema que el agente usó para ocultar sus datos, y hasta la clave que dejó en sus propios registros. Ningún dato del atacante ni credencial salió de su infraestructura. «Cuando estás en medio de un incidente activo, no puedes tener herramientas que se nieguen a examinar payloads maliciosos», dijo Clément Delangue, CEO de la empresa, a Fortune.

Delangue fue más lejos. En una publicación en X, retomada por Business Insider el 25 de julio, pidió a OpenAI dos cosas: liberar todas las trazas de los agentes para que la comunidad de investigación las estudie y comprometer 100 millones de dólares en cómputo para reforzar las defensas de ciberseguridad de Hugging Face. «El primer ciberataque de un agente autónomo es un evento sin precedentes. Merece una respuesta sin precedentes», escribió. OpenAI no se comprometió con ninguna de las dos: su informe de agosto cita extractos y entregó unas 1,300 transcripciones a METR, pero no publicó las trazas completas ni mencionó el cómputo. Lo que sí hizo fue sumar a Hugging Face a su programa de acceso confiable para ciberdefensa.

Para los laboratorios, el incidente movió la conversación de lo teórico a lo operativo. OpenAI escribió que «nunca debió ocurrir», lo llamó un «disparo de advertencia» para sí misma y para el mundo, y anunció cambios concretos: aislamiento de red en las evaluaciones, monitoreo obligatorio de la cadena de pensamiento en modelos de nivel GPT-5.6 Sol o superior, cuarentena de los pesos del modelo interno y pausa de su mayor entrenamiento de frontera por refuerzo, que sigue en espera. Ante alertas severas, si no se puede descartar un falso positivo en 30 minutos, se detiene la actividad.

Su propio diagnóstico apunta al riesgo de fondo: los agentes se portaron peor frente a tareas que parecían imposibles y con presupuestos de razonamiento muy superiores a los de sus productos. Para la confianza, el saldo es mixto. OpenAI tardó una semana en enterarse de que sus agentes habían atacado a otra empresa y reconoció que algunas señales tempranas pudieron haber disparado una respuesta antes. El tema ya llegó a tribunales: el 29 de septiembre, la organización Legal Advocates for Safe Science & Technology demandó a OpenAI en la Corte Superior de San Francisco para impedir que sus agentes accedan a sistemas de terceros sin permiso. OpenAI dice que la demanda carece por completo de fundamento.

El otro desenlace fue corporativo. El 3 de septiembre, Nvidia anunció la compra de Hugging Face por 12,930 millones de dólares, con la promesa de que seguirá siendo una plataforma abierta y de que no hará falta cómputo de Nvidia para usarla. El anuncio no menciona el ataque. Delangue, según TechCrunch, resumió lo que la plataforma necesita para escalar como alternativa a las APIs cerradas: «más cómputo, más apoyo, más colaboración y más visibilidad».