Security musings

Catégories

Tags

🔍 Licence d'Utilisation 🔍

Sauf mention contraire, le contenu de ce blog est sous licence CC BY-NC-ND 4.0.

© 2025 à 2042 Sébastien Gioria. Tous droits réservés.

La sécurité de la chaîne d’approvisionnement est un défi critique pour les systèmes d’IA agentique. Ces agents ne sont pas isolés ; ils dépendent d’un écosystème dynamique de modèles, d’outils, de plugins et de données externes pour fonctionner. Le risque ASI04 - Agentic Supply Chain Vulnerabilities survient lorsqu’un attaquant compromet l’un de ces composants tiers. Contrairement aux applications traditionnelles, un agent peut sélectionner des outils à la volée, rendant la surface d’attaque difficile à contrôler.

Le problème clé

La confiance implicite accordée aux composants tiers (modèles pré-entraînés, plugins, sources de données RAG) est le cœur du problème. Si un seul maillon est compromis, la sécurité de l’agent entier est menacée, permettant infiltration, exfiltration de données ou manipulation des actions.

Analyse STRIDE

Voici comment les menaces STRIDE s’appliquent à la chaîne d’approvisionnement agentique, en lien avec les scénarios ci-dessous :

Menace Impact dans le contexte agentique Lien Scénario
Spoofing Un attaquant se fait passer pour un fournisseur légitime de modèle ou de plugin sur un hub public. Scénario 1 & 2
Tampering Modification malveillante du code d’un plugin ou des poids d’un modèle avant son téléchargement par l’agent. Scénario 1 (Backdoor)
Repudiation Difficulté à prouver l’origine d’une action malveillante si elle provient d’un composant tiers transitoire sans logs adéquats. Général
Information Disclosure Un plugin compromis est utilisé pour siphonner silencieusement les données auxquelles l’agent a accès (tokens, fichiers). Scénario 2 (Vol de tokens)
Denial of Service Injection d’une dépendance malveillante qui provoque le crash de l’agent ou une consommation excessive de ressources. Général
Elevation of Privilege Un outil tiers compromis s’exécute avec les permissions de l’agent, permettant à l’attaquant d’accéder à des ressources protégées. Scénario 2

Comment ça marche ? (Vecteurs)

  • Modèles Empoisonnés (Model Poisoning) : Insertion de backdoors ou de biais dans des modèles publiés sur des hubs publics.
  • Compromission de Plugins/Outils : Prise de contrôle de plugins tiers pour exécuter du code ou voler des données.
  • Pollution de Données RAG : Injection de documents malveillants dans les sources de connaissances pour influencer les décisions futures.
  • Dépendances Vulnérables : Exploitation de CVE dans les bibliothèques ou conteneurs sous-jacents.

Scénarios d’attaque clés (Exemples)

1. Le Modèle “Cheval de Troie” (Tampering)

Une entreprise utilise un modèle open-source pour son agent support. Un attaquant compromet le dépôt et y injecte une backdoor. Lorsque l’agent reçoit une phrase déclencheuse, le modèle exécute une instruction cachée pour exfiltrer l’historique des conversations.

2. Le Plugin Météo Malveillant (Information Disclosure / Elevation of Privilege)

Un agent personnel utilise un plugin météo tiers. L’auteur vend le projet à un acteur malveillant qui publie une mise à jour contenant du code pour siphonner les jetons d’accès (tokens) de l’agent, lui donnant accès aux emails et à l’agenda de l’utilisateur.

Vulnérabilités réellement connues

  • Empoisonnement de données RAG : Des recherches montrent qu’injecter des documents malveillants dans des sources comme Wikipedia ou LinkedIn permet de manipuler les réponses de systèmes comme Microsoft 365 Copilot ou ChatGPT, forçant parfois la récupération de données sans consentement.

Solutions & Défenses (Mitigation)

Principes Architecturaux

  • Zéro Confiance (Zero Trust) : Ne jamais faire confiance par défaut aux composants tiers ou aux autres agents. Toujours vérifier et valider.
  • Isolation (Sandboxing) : Exécuter les outils et plugins tiers dans des environnements strictement isolés avec des privilèges minimaux.
  • Vérification de l’Intégrité : Utiliser la signature numérique pour vérifier l’origine et l’intégrité des modèles et outils.

Boîte à outils CI/CD

1. AI-SBOM (Inventaire des composants IA)

Maintenir un inventaire automatisé de tous les composants IA (modèles, données, outils).

Outils open source recommandés :

  • CycloneDX - Standard SBOM supportant les composants ML/AI avec extension pour modèles
  • SPDX - Format SBOM ISO/IEC 5962 avec support ML
2. Scan de Vulnérabilités (SCA)

Analyser régulièrement les dépendances et conteneurs.

Pour les dépendances :

3. Audit de Sécurité des Modèles

Scanner les modèles pour détecter des backdoors avant déploiement.

Détection de backdoors et malware :

  • ModelScan (Protect AI) - Scanner de sécurité pour modèles ML (Pickle, HDF5, TensorFlow)
  • Garak - Framework de test d’adversité pour LLM
  • AI Verify - Plateforme de validation et gouvernance IA

Analyse comportementale :

Références :