Pourquoi est-ce important ?
La Fuite des Prompts Système concerne les risques liés à la fuite d’informations sensibles contenues dans les prompts système utilisés pour guider les modèles de langage. Ces prompts peuvent révéler divers secrets tels que des clés API, des chaînes de connexion ou des structures de rôles et permissions.
Comment fonctionne une attaque
Une attaque exploitant cette vulnérabilité repose sur l’extraction de prompts système qui contiennent des informations sensibles. Ces informations peuvent être utilisées pour faciliter d’autres attaques, comme des injections SQL ou des attaques d’escalade de privilèges.
Exemples de Faille Connue
Un LLM disposant d’un prompt système contenant un ensemble d’informations d’identification utilisées pour un outil auquel il a accès. Le prompt système est divulgué à un attaquant, qui peut ensuite utiliser ces informations d’identification à d’autres fins.
Reference: ChatGPT system prompt leaks
Comment se protéger ?
Pour se protéger contre la fuite des Prompts Système, il est essentiel de :
-
Éviter d’inclure des informations sensibles dans vos prompts: Ne placez pas de données sensibles comme des clés API ou des chaînes de connexion dans les prompts système.
-
Externaliser les informations sensibles : Stockez ces informations dans des systèmes que le modèle ne peut pas accéder directement.
-
Mettre en place des garde-fous externes : Utilisez des systèmes indépendants pour surveiller et contrôler le comportement du modèle.
-
Séparer les privilèges : Assurez-vous que les contrôles critiques comme la séparation des privilèges ne soient pas délégués au LLM.
Références :