A medida que los sistemas de IA generativa como ChatGPT de OpenAI y Gemini de Google se vuelven más avanzados, se están poniendo cada vez más a trabajar. Startups y empresas tecnológicas están construyendo agentes de IA y ecosistemas sobre estos sistemas que pueden completar tareas aburridas por ti, como hacer reservas automáticamente en el calendario y posiblemente comprar productos.
Pero a medida que se les otorgan más libertad a estas herramientas, también aumenta la cantidad de formas en que pueden ser atacadas. En una demostración de los riesgos de los ecosistemas de IA conectada y autónoma, un grupo de investigadores ha creado lo que afirman ser uno de los primeros gusanos de IA generativa, que pueden propagarse de un sistema a otro, potencialmente robando datos o desplegando malware en el proceso.
El gusano, llamado Morris II en referencia al gusano informático original Morris que causó caos en Internet en 1988, fue creado por los investigadores Ben Nassi, Stav Cohen y Ron Bitton. En un documento de investigación y un sitio web compartidos exclusivamente con WIRED, los investigadores muestran cómo el gusano de IA puede atacar un asistente de correo electrónico de IA generativa para robar datos de correos electrónicos y enviar mensajes de spam, rompiendo algunas protecciones de seguridad en ChatGPT y Gemini en el proceso.
Aunque los gusanos de IA generativa aún no se han visto en la naturaleza, varios investigadores dicen que son un riesgo de seguridad del cual las startups, los desarrolladores y las empresas tecnológicas deberían preocuparse. La mayoría de los sistemas de IA generativa funcionan alimentando instrucciones de texto que indican a las herramientas que respondan una pregunta o creen una imagen. Sin embargo, estos comandos también pueden ser utilizados en su contra. Los jailbreaks pueden hacer que un sistema ignore sus reglas de seguridad y produzca contenido tóxico o dañino, mientras que los ataques de inyección de comandos pueden dar instrucciones secretas a un chatbot.
Para crear el gusano de IA generativa, los investigadores recurrieron a un «comando de auto-replicación adversario», que desencadena que el modelo de IA generativo produzca, en su respuesta, otro comando. En resumen, se le indica al sistema de IA que produzca un conjunto de instrucciones adicionales en sus respuestas. Esto es en gran medida similar a los ataques tradicionales de inyección de SQL y desbordamiento de buffer, según los investigadores. Para demostrar cómo puede funcionar el gusano, los investigadores crearon un sistema de correo electrónico que podía enviar y recibir mensajes utilizando IA generativa, conectándolo a ChatGPT, Gemini y LLaVA, un modelo LLM de código abierto. Luego encontraron dos formas de explotar el sistema: mediante un comando de auto-replicación basado en texto y mediante la incrustación de un comando de auto-replicación dentro de un archivo de imagen.
Deja una respuesta