Pourquoi est-ce important ?
Les Faiblesses des Vecteurs et des Embeddings sont liés à l’utilisation de la Génération Augmentée par Recherche (RAG) avec les modèles de langage à grande échelle (LLM).
Les faiblesses dans la génération, le stockage ou la récupération des vecteurs et des embeddings peuvent être exploitées pour injecter du contenu nuisible, manipuler les sorties du modèle ou accéder à des informations sensibles.
Comment fonctionne une attaque liée aux Faiblesses des Vecteurs et des Embeddings ?
Une attaque exploitant cette vulnérabilité repose sur l’exploitation des faiblesses dans les mécanismes de vecteurs et d’embeddings utilisés par la RAG. Ces faiblesses peuvent permettre aux attaquants d’inverser les embeddings pour récupérer des informations sensibles ou de manipuler les sorties du modèle pour obtenir des résultats malveillants.
Exemples de Faille Connue
Génération de Contenu Préjudiciable : Un attaquant pourrait injecter un vecteur conçu pour inciter le LLM à générer de la propagande haineuse, de la désinformation ou des instructions pour des activités illégales.
Contournement des Filtres de Sécurité : En façonnant soigneusement des vecteurs, un attaquant pourrait être capable de contourner les systèmes de modération de contenu.
Manipulation des Recommandations : Un attaquant pourrait injecter des vecteurs pour influencer les recommandations du LLM, poussant les utilisateurs vers des produits, services ou points de vue spécifiques.
Extraction de Données : Les attaquants pourraient utiliser la similarité vectorielle pour identifier des informations sensibles intégrées dans la base de connaissances du LLM.
Comment se protéger ?
Mettre en place des contrôles d’accès fins : Assurez-vous que les magasins de vecteurs et d’embeddings sont accessibles uniquement aux utilisateurs autorisés. Consultez le Access Control Cheat Sheet pour des conseils sur la mise en œuvre d’un contrôle d’accès robuste.
Partitionner logiquement les données : Séparez strictement les ensembles de données dans la base de données vectorielle pour éviter l’accès non autorisé entre différents groupes d’utilisateurs. Utilisez des techniques de validation des entrées pour garantir que les données sont correctement formatées et ne contiennent pas d’informations sensibles, comme indiqué dans l’Input Validation Cheat Sheet.
Valider les données : Mettez en place des pipelines de validation robustes pour les sources de connaissances et vérifiez régulièrement l’intégrité de la base de connaissances pour détecter les codes cachés et l’empoisonnement des données. Utilisez des techniques de logging sécurisées pour suivre les accès et modifications, comme décrit dans le Logging Cheat Sheet.
Maintenir des journaux immuables : Enregistrez les activités de récupération pour détecter et répondre rapidement aux comportements suspects. Assurez-vous que les journaux sont sécurisés et ne peuvent pas être modifiés ou supprimés par des utilisateurs non autorisés.
Références :