Pourquoi est-ce important ?
Octroyer trop d’autonomie aux systèmes basés sur les modèles de langage peut mener a de graves vulnerabilités. Ces systèmes peuvent être configurés pour appeler des fonctions ou interagir avec d’autres systèmes via des extensions, ce qui peut entraîner des actions dommageables en réponse à des sorties inattendues ou manipulées des LLM.
Comment fonctionne une attaque ?
Une attaque exploitant cette vulnérabilité repose sur l’utilisation de sorties malveillantes ou ambiguës pour déclencher des actions non autorisées via des extensions, ou agents AI. Les déclencheurs courants incluent la manipulation des prompts par des utilisateurs malveillants ou des extensions compromises.
Exemples de Faille Connue
En 2024 Slack AI est vulnérable à une attaque par injection de prompt indirecte, permettant aux attaquants d’exfiltrer des données sensibles de canaux privés sans y avoir accès. Cette vulnérabilité exploite le fait que Slack AI suit des instructions malveillantes incluses dans les messages. Les attaquants peuvent ainsi extraire des informations confidentielles comme des clés API via des liens malveillants générés par Slack AI.
Reference : Exfiltration de données via des agents Slack
Comment se protéger ?
Pour se protéger il est essentiel de travailler sur les interactions entre le LLM et les extensions.
- Limiter les extensions : Restreignez les extensions accessibles aux agents LLM aux seules nécessaires pour l’opération prévue.
- Réduire la fonctionnalité : Évitez les extensions à fonctionnalité ouverte et utilisez des extensions avec des fonctionnalités plus granulaires.
- Limiter les permissions : Assurez-vous que les extensions n’ont que les permissions minimales nécessaires pour fonctionner.
- Mettre en place un contrôle humain : Exigez une approbation humaine pour les actions à impact élevé.
Une extension de LLM est une fonctionnalité comme la possibilité d’extraire du contenu depuis une URL ou de générer un fichier Excel, …
Références :