Les analyses menées montrent que Grok et Mixtral ont été détournés via des prompts jailbreakés. La variante keanu-WormGPT repose sur l’API de Grok, manipulée à travers des system prompts contournant les barrières de sécurité. De son côté, xzin0vich-WormGPT utilise des paramètres propres au modèle Mixtral, notamment des éléments spécifiques à l’architecture, suggérant un affinement sur des corpus illicites.

L’émergence de ces outils souligne la professionnalisation croissante du marché de l’IA malveillante, avec une volonté claire d’exploiter des modèles open source existants plutôt que d’en concevoir de nouveaux. Les forums clandestins deviennent ainsi des vitrines de solutions IA pour cybercriminels, avec des offres personnalisées selon les usages. Initialement apparu en 2023 sur Hack Forums, WormGPT avait marqué une étape dans l’utilisation d’IA générative à des fins criminelles. Depuis la fermeture du service en août 2023, l’écosystème s’est réorganisé en donnant naissance à des variantes diffusées sur BreachForums par des acteurs malveillants, sous les pseudonymes de “xzin0vich” et “keanu”.
Ces nouvelles versions sont accessibles via des chatbots Telegram, permettant la génération de contenus malveillants tels que des emails de phishing ou des scripts PowerShell de collecte de données d’identification. Les chercheurs de Cato CTRL ont réussi à extraire les system prompts de ces IA, révélant des mécanismes de contournement des garde-fous intégrés aux LLM légitimes.

Pour aider les entreprises à faire face à ces menaces évolutives, Cato Networks recommande : le déploiement de solutions XDR intégrant des analyses comportementales et une corrélation automatisée des signaux issus de différents environnements ; la mise en œuvre de politiques Zero Trust (ZTNA) associées à une surveillance des usages de GenAI via des outils CASB (Cloud Access Security Broker) ; enfin, l’organisation de simulations de phishing réalistes générées par GenAI, ainsi que l’intégration de la sécurité IA dans les pipelines CI/CD.