Des chercheurs créent un logiciel malveillant se propageant seul et alimenté par une intelligence artificielle
Des chercheurs affirment avoir créé un ver informatique capable de cibler les applications alimentées par l’IA générative, dans le but de sensibiliser à cette menace potentielle.
(Image d’entête par les chercheurs de ComPromptMized)
Les chercheurs ont testé ce ver contre des modèles d’IA populaires tels que Gemini Pro, ChatGPT et LLaVA afin de démontrer ses éventuelles utilisations malveillantes. Ils indiquent que ce ver, appelé Morris II, était capable de spammer les utilisateurs avec des courriels et de voler des données sans que l’utilisateur ne clique sur un lien malveillant, une technique dite « zero-click ».
Le ver a été nommé d’après le premier ver lancé sur l’internet en 1988. C’est un type de logiciel malveillant qui fonctionne de manière indépendante et se propage sur les réseaux informatiques, « souvent sans nécessiter d’interaction de la part de l’utilisateur », précisent les chercheurs à l’origine de cette étude.
L’équipe affirme que son ver peut cibler les « écosystèmes » d’IA générative grâce à l’utilisation de messages automatiques qui se répliquent. Grâce à des techniques de jailbreaking et d’apprentissage automatique, les chercheurs affirment que ce ver peut exploiter la connectivité entre les systèmes d’IA générative pour diffuser des logiciels malveillants ou des courriers électroniques non sollicités.
L’étude suggère que les attaquants peuvent utiliser ce type de ver pour inciter les modèles d’IA à reproduire des données malveillantes et à se livrer ensuite à des activités malveillantes. Dans l’étude, le ver d’IA s’attaque aux assistants de messagerie d’IA générative pour voler des données de messagerie et envoyer des spams.
Les chercheurs indiquent que le ver est capable d’utiliser un texte envoyé dans un courriel pour « empoisonner » la base de données de certains clients d’applications de messagerie, ce qui permet ensuite de pirater des modèles tels que ChatGPT et Gemini pour « se répliquer et exfiltrer des données sensibles de l’utilisateur extraites du contexte ».
Selon les chercheurs :
Cette recherche a pour but de dénoncer la possibilité de créer des vers GenAI afin d’empêcher leur apparition. Grâce à l’inférence automatique effectuée par le service GenAI (qui déclenche automatiquement le ver), l’utilisateur n’a pas besoin de cliquer sur quoi que ce soit pour déclencher l’activité malveillante du ver ou pour qu’il se propage.
Les chercheurs ont déclaré avoir contacté OpenAI et Google à propos du ver, mais ont ajouté qu’ils n’en étaient pas responsables, car « le ver exploite une mauvaise conception de l’architecture de l’écosystème GenAI et n’est pas une vulnérabilité du service GenAI ».
Plusieurs experts ont évoqué les dangers de l’IA générative dans le contexte de la cybersécurité et certains ont averti que l’adoption de la technologie IA entraînerait une augmentation des attaques d’ingénierie sociale avancées.
Une présentation de l’étude par les chercheurs. (Ben Nassi/ ComPromptMized)
L’étude disponible ici (PDF Google Drive) : ComPromptMized: Unleashing Zero-click Worms that et le site dédié à la recherche : ComPromptMized.