Meta se ha convertido en la última empresa de inteligencia artificial en confirmar que uno de sus modelos hackeó una organización real durante pruebas de ciberseguridad, en medio de una serie de incidentes similares que surgieron tras la revelación inicial de OpenAI de que sus agentes habían vulnerado Hugging Face.
The Information fue el primero en informar sobre el incidente este miércoles, citando a personas familiarizadas con el asunto que dijeron que el modelo Muse Spark 1.1 de Meta vulneró una empresa no identificada e hizo cambios en sus sistemas internos. Según el informe, el modelo llegó a la internet pública debido a un error en la configuración de un entorno de pruebas sandbox operado junto con la empresa independiente de evaluación de ciberseguridad Irregular.
Meta no ha confirmado públicamente que Muse Spark 1.1 fuera el modelo involucrado, ni ha identificado a la empresa afectada ni explicado qué cambios se realizaron en sus sistemas. Sin embargo, Meta confirmó a Reuters que una mala configuración de Irregular inadvertidamente dio a uno de sus modelos acceso a internet durante una evaluación. La empresa dijo que el modelo 'explotó una vulnerabilidad de seguridad en un servicio de terceros, de manera similar a incidentes previamente reportados con otras empresas'.
Meta dijo a la BBC que está investigando el incidente y publicará más información 'una vez que tengamos todos los hechos'. BleepingComputer contactó a Meta e Irregular para obtener más información, pero no ha recibido respuesta.
El mismo fallo de prueba detrás de las filtraciones anteriores de IA
Irregular dijo a Reuters que el incidente de Meta involucró el 'mismo problema de entorno de evaluación que ya fue divulgado por Anthropic la semana pasada'. La empresa dijo que el incidente no implicó un escape de sandbox ni una acción cibernética sofisticada. En cambio, un error en el entorno de prueba dio al modelo acceso a la internet pública cuando se suponía que debía estar aislado. 'No hay problemas abiertos actualmente. Irregular está desarrollando un documento técnico para compartir mejores prácticas de contención y ejecución segura de evaluaciones cibernéticas', dijo la empresa a Reuters.
Este nuevo incidente de seguridad con agentes de IA sigue a la divulgación de Anthropic la semana pasada de que algunos de sus modelos habían hackeado tres empresas después de una mala configuración similar en el entorno de pruebas de Irregular que les dio acceso no intencionado a internet. En uno de esos incidentes, Claude Mythos 5 encontró instrucciones para desarrolladores dentro del entorno simulado que hacían referencia a un paquete de Python inexistente. Creyendo que había identificado una forma de comprometer al objetivo ficticio, el modelo creó un paquete malicioso con el mismo nombre y lo publicó en el registro real de PyPI. El paquete permaneció en línea durante aproximadamente una hora y fue descargado y ejecutado en 15 sistemas reales antes de que PyPI lo eliminara.
Uno de esos sistemas era un escáner de malware operado por una empresa de seguridad, donde el paquete robó credenciales que Claude luego usó para acceder a infraestructura adicional. Anthropic dijo que el modelo inicialmente reconoció que publicar el paquete constituiría un ataque en el mundo real, pero se convenció de que todavía operaba dentro de una simulación. OpenAI también reveló recientemente otra evaluación de Irregular en la que el nombre de un objetivo CTF ficticio coincidía con un dominio real. Debido a que el entorno supuestamente aislado podía acceder a la internet pública, un modelo de OpenAI explotó una vulnerabilidad básica en el sitio web real y encontró credenciales que le permitieron operar el sitio.
Los incidentes de Meta e Irregular difieren de la brecha de Hugging Face divulgada anteriormente, donde los modelos de OpenAI encontraron un camino hacia la internet pública explotando una vulnerabilidad previamente desconocida en un servidor JFrog Artifactory alojado internamente utilizado durante las pruebas. Después de llegar a internet, los agentes vulneraron Hugging Face mientras buscaban conjuntos de datos de referencia y soluciones, robaron credenciales y se movieron lateralmente a través de los sistemas de la empresa. OpenAI reveló más tarde que los agentes usaron credenciales expuestas para acceder a cuentas en otros cuatro servicios de terceros, con algunas de esas cuentas utilizadas para infraestructura de ataque y almacenamiento de datos.
El Instituto de Seguridad de IA del Reino Unido, comúnmente conocido como AISI, también reveló que agentes que usaban Claude Mythos 5 de Anthropic y GPT-5.6 Sol de OpenAI tomaron 19 acciones no autorizadas en la internet pública durante evaluaciones de ciberrango. En la secuencia más grave, el agente Mythos 5 intentó un ataque a la cadena de suministro contra un proyecto de código abierto real después de concluir erróneamente que su repositorio de GitHub estaba conectado al desafío simulado. El agente investigó a los mantenedores del proyecto, envió código malicioso, creó identidades falsas, envió correos electrónicos dirigidos con malware y presionó a un mantenedor para que aprobara la solicitud de extracción. Cuando un revisor advirtió que el código contenía malware, el agente negó la acusación y usó cuentas falsas adicionales para crear la apariencia de que usuarios independientes habían revisado y aprobado los cambios.
AISI proporcionó intencionalmente a los agentes acceso a internet y deshabilitó sus salvaguardas cibernéticas estándar para medir sus capacidades subyacentes. Sin embargo, los agentes solo estaban autorizados a atacar sistemas dentro del rango simulado. Como ha quedado claro, a menos que se restrinja cuidadosamente, los agentes de IA harán todo lo posible para resolver sus tareas, incluso si eso significa salir de los sandboxes o realizar ataques de ingeniería social contra personas reales. Si bien los desarrolladores de IA tienen la responsabilidad de construir salvaguardas que impidan que los modelos realicen acciones dañinas, los incidentes también resaltan la responsabilidad de las empresas que realizan estas evaluaciones de configurar adecuadamente sus entornos de prueba.
Los equipos de seguridad registran el 54% de los ataques exitosos y alertan solo sobre el 14%. El resto se mueve a través de su entorno sin ser visto. El documento técnico de Picus muestra cómo la simulación de brechas y ataques prueba sus reglas SIEM y EDR para que las amenazas dejen de pasar desapercibidas.
