JFrog découvre une menace CVE de niveau 10 concernant l’utilisation de grands modèles de langage (LLM)
juin 2024 par JFrog
L’équipe de recherche en sécurité de JFrog va annoncer de nouvelles découvertes qui constituent une menace CVE de niveau 10 (exécution de code à distance, éventuellement non authentifiée, trivial). Ces résultats concernent l’utilisation de grands modèles de langage (LLM), qui sont de plus en plus utilisés dans le paysage de l’IA, en particulier après le lancement de ChatGPT. Les LLM figurent désormais parmi les 14 % des technologies émergentes les plus importantes.
Ces conclusions s’articulent spécifiquement autour d’une vulnérabilité de type "zero-day" que l’équipe de recherche en sécurité de JFrog a récemment découverte et dévoilée dans une bibliothèque ML populaire, la bibliothèque Vanna.AI. Elle offre une interface texte-SQL aux utilisateurs - qui présente une vulnérabilité d’exécution de code à distance via des techniques d’injection de prompt connues sous le nom de CVE-2024-5565. Cette attaque peut être utilisée pour contourner les mesures de protection "pre-prompting" intégrées dans les LLM, qui peuvent - par exemple - contraindre un LLM à renvoyer des informations sensibles ou dommageables qu’il n’est pas censé partager, ce qui pourrait avoir un impact négatif de grande portée.
En raison du récent essor de l’IA et du ML, de nombreux développeurs utilisent des prompts LLM et les relient à diverses ressources (bases de données, API, générateurs de code, etc.), ce qui - comme le montre l’étude de JFrog - peut être extrêmement dangereux et exposer les organisations à un risque élevé d’attaque par exécution de code à distance donnant un accès complet à la machine hébergeant le LLM. Cela peut conduire à un vol de propriété intellectuelle (vol de modèles de ML) ou à une infection plus poussée des systèmes de l’organisation.
Interrogé sur cette vulnérabilité, Shachar Menasche, Sr. Director of Security Research au sein de JFrog, a déclaré :
"Cette découverte démontre que les risques d’une utilisation généralisée des IA Gen/LLM sans une gouvernance et une sécurité appropriées peuvent avoir des implications dramatiques pour les organisations. Les dangers de l’injection de prompts ne sont pas encore bien connus, mais ils sont faciles à mettre en œuvre. Les entreprises ne devraient pas considérer l’injection de prompts comme un mécanisme de défense infaillible et devraient employer des mécanismes plus robustes lors de l’interfaçage des LLM avec des ressources critiques telles que les bases de données ou la génération de code dynamique."