Security musings

Catégories

Tags

🔍 Licence d'Utilisation 🔍

Sauf mention contraire, le contenu de ce blog est sous licence CC BY-NC-ND 4.0.

© 2025 à 2042 Sébastien Gioria. Tous droits réservés.

⏱️
Temps de lecture estimé
~7 minutes

Le 4 février 2026, l’ANSSI a publié de document de synthèse consacré aux menaces liées à l’intelligence artificielle générative. Ce document dresse un panorama de la situation en 2025 autour de deux axes :

  • l’utilisation de l’IA comme outil offensif par les attaquants
  • le ciblage des systèmes d’IA eux-mêmes en tant que surfaces d’attaque.

Plongeons nous dans les détails de ce rapport pour comprendre les tendances, les risques et les recommandations qui en émergent, tout en les mettant en perspective avec les référentiels de sécurité OWASP dédiés à l’IA.

L’IA générative, un outil à double tranchant

Le rapport s’ouvre sur un constat fondamental : l’IA générative, et en particulier les grands modèles de langage (LLM), incarne parfaitement le concept d’usage dual. Les mêmes technologies qui permettent aux équipes de défense d’améliorer leur posture de sécurité sont détournées par les attaquants pour optimiser leurs opérations.

L’ANSSI précise toutefois qu’elle n’a pas connaissance, à ce jour, de cyberattaques menées contre des acteurs français à l’aide de l’IA, ni identifié de système capable de conduire de manière autonome l’intégralité d’une chaîne d’attaque.

Ce constat nuancé n’empêche pas l’agence de souligner que ces technologies permettent déjà d’améliorer significativement le niveau, la quantité et l’efficacité des attaques, en particulier contre des environnements peu sécurisés.

L’IA au service des attaquants

L’intégration de l’IA générative dans l’arsenal offensif se manifeste à plusieurs étapes de la chaîne d’attaque. Sur le plan de l’ingénierie sociale, des groupes APT rattachés à l’Iran, la Chine et la Corée du Nord ont respectivement utilisé ces outils pour effectuer de la reconnaissance sur des cibles d’intérêt, générer des contenus de phishing ciblés et créer de faux profils d’entreprises sur les réseaux sociaux. L’ANSSI note aussi la prolifération de services de deepfakes accessibles pour quelques dizaines de dollars, permettant l’usurpation d’identité à bas coût.

Côté développement de code malveillant, les exemples se multiplient. Par exemple, le groupe TA547 a utilisé un script PowerShell généré par LLM pour compromettre une entreprise allemande.

Des chercheurs ont par ailleurs mis au point PromptLock, un prototype de ransomware qui génère dynamiquement ses scripts d’exfiltration et de chiffrement via des prompts. Encore plus inquiétant, Google a identifié PromptFlux, un malware polymorphique qui interroge l’API Gemini toutes les heures pour réécrire entièrement son propre code source et ainsi échapper à la détection.

En aval des attaques, l’IA sert aussi à l’analyse des données volées. Le département de cyberdéfense ukrainien a signalé que des opérateurs russes utilisaient l’IA générative pour trier massivement les données exfiltrées et en extraire les informations stratégiques.

Le rapport souligne cependant que la recherche automatisée de vulnérabilités 0Days reste un domaine où l’IA demeure encore limitée, meme depuis les avancés de Claude avec OPUS 4.6 .

La plupart des systèmes disponibles sont trop instables pour identifier ces failles rapidement et en quantité. Aucun cas avéré d’exploitation d’une vulnérabilité jour-zéro découverte par une IA n’a été documenté. Néanmoins, l’ANSSI relève des avancées notables : le système BigSleep a démontré son efficacité en recherche de vulnérabilités dans le code source fin 2024, et XBOW, développé par d’anciens ingénieurs de GitHub, a soumis avec succès des centaines de vulnérabilités à des programmes bug bounty en 2025.

Un écosystème offensif en structuration

L’utilisation de l’IA générative touche un large spectre d’acteurs.

Google a révélé en janvier 2025 que Gemini avait été exploité entre 2023 et 2024 par les opérateurs d’au moins dix groupes liés à l’Iran, vingt à la Chine, neuf à la Corée du Nord et trois à la Russie, en plus de nombreux groupes cybercriminels.

L’usage varie selon la maturité des attaquants : pour les plus expérimentés, l’IA est devenue un outil générique intégré au quotidien, semblable à l’utilisation de Cobalt Strike ou Metasploit, permettant de produire du contenu en masse dans plusieurs langues et de développer du code non-signé. Pour les novices, elle sert avant tout d’outil d’apprentissage et de gain de productivité. Dans tous les cas, elle permet d’agir plus vite et à plus grande échelle.

L’écosystème cybercriminel s’est aussi structuré autour de l’IA. Des services de jailbreak-as-a-service comme EscapeGPT ou LoopGPT permettent de contourner les garde-fous des modèles commerciaux. Ce phénomène est bien documenté par la communauté OWASP : le risque LLM01:2025 Prompt Injection du Top 10 OWASP pour les LLM décrit précisément ces techniques de manipulation des requêtes pour détourner le comportement d’un modèle. Pour une approche didactique de ce sujet, cf mon article sur les techniques de jailbreak des IA et les défenses associées. Parallèlement, des IA “débridées” telles que WormGPT, FraudGPT ou EvilGPT sont vendues sur les forums pour environ 100 dollars par mois. Les versions les plus récentes, comme WormGPT 4, sont directement entraînées sur des jeux de données spécifiques aux activités criminelles.

L’IA comme cible : empoisonnement et compromission

La seconde partie du rapport aborde les menaces qui pèsent sur les systèmes d’IA eux-mêmes. Trois niveaux de vulnérabilités sont identifiées : l’entraînement du modèle, son intégration et son interrogation. L’OWASP Top 10 for LLM Applications 2025, est essentiel pour comprendre ces risques.

Sur le volet de l’empoisonnement, une analyse conjointe du UK AI Security Institute et de l’Alan Turing Institute a démontré qu’il est possible de corrompre un modèle d’IA générative avec seulement 250 documents malveillants, et que ce seuil reste stable quelle que soit la taille des données d’apprentissage. Ce risque correspond directement au LLM04:2025 Data and Model Poisoning du référentiel OWASP. Au-delà des attaques ciblées, la prolifération de contenus fallacieux générés par l’IA sur Internet risque de polluer progressivement les données d’entraînement des modèles futurs, créant un cercle vicieux de désinformation.

L’ANSSI note également avoir observé des modèles intégrant dès leur conception des biais, des limitations ou des éléments de censure.

Les systèmes d’IA constituent aussi de nouvelles surfaces pour les attaques par chaîne d’approvisionnement, un risque couvert par le LLM03:2025 Supply Chain de l’OWASP. Des modèles disponibles en open source sur des plateformes comme Hugging Face peuvent être malveillants et exécuter du code arbitraire dès leur téléchargement. L’initiative OWASP AIBOM Generator répond d’ailleurs directement à ce besoin de traçabilité en permettant de générer des inventaires de composants IA (AI Bill of Materials) pour améliorer la transparence de la chaîne d’approvisionnement.

Le rapport de l’ANSSI met aussi en lumière les risques liés aux MCP, qui connectent les LLM à des outils externes et étendent considérablement la surface d’attaque lorsqu’ils ne sont pas correctement sécurisés.

Ce sujet est devenu central dans l’écosystème OWASP avec la publication du OWASP MCP Top 10 qui cartographie les vulnérabilités spécifiques à ces protocoles, incluant les attaques par chaîne d’approvisionnement logicielle via les dépendances MCP.

Pour un éclairage pratique sur la sécurisation de MCP, cf mon article MCP : Ouvrir son système sans se faire pirater qui offre une analyse appliquée à l’architecture MCP. Plus largement, cf ma série L’ennemi dans le terminal : Sécuriser les Agents IA et La face cachée de la Supply Chain : Sécuriser l’Infrastructure et les IA qui traitent en profondeur de cette convergence entre agents IA et chaîne d’approvisionnement logicielle.

Le phénomène du “slopsquatting” est aussi mis en lumière par l’ANSSI : les attaquants identifient des noms de paquets logiciels inventés par les modèles lors d’hallucinations, puis en publient des versions malveillantes que les développeurs installeront sans méfiance (cf Comment survivre aux supply chain attacks dans finir en dépendance toxique )

Enfin, l’utilisation quotidienne de services d’IA par les salariés expose les organisations à des risques concrets. En 2025, le patron de la cyberdefense américaine a publié des données sensibles sur ChatGPT

Ces incidents illustrent parfaitement le risque LLM02:2025 Sensitive Information Disclosure et rappellent que l’absence de cloisonnement rigoureux entre les usages personnels et professionnels de l’IA peut mener à des atteintes à la confidentialité des données et à l’intégrité des systèmes d’information connectés.

Vers les agents autonomes : la prochaine frontière

Si le rapport de l’ANSSI se concentre sur l’état des lieux en 2025, il est important de noter que la menace évolue rapidement vers les systèmes d’IA agentiques — ces agents autonomes capables de planifier, décider et exécuter des actions sans supervision humaine. L’OWASP GenAI Security Project a anticipé cette évolution en publiant le OWASP Top 10 for Agentic Applications 2026, un référentiel qui identifie les risques critiques spécifiques aux systèmes agentiques :

Pour un guide complet détaillé de chacun de ces dix risques, cf ma série d’articles du ASI01 au ASI10 qui offre une analyse technique exhaustive de chaque catégorie avec des scénarios concrets.

L’ANSSI elle-même estime plausible que la maîtrise croissante de l’IA générative par les attaquants pourrait mener à court ou moyen terme à **l’automatisation complète ou quasi-complète **d’une chaîne d’attaque.

Les travaux de l’OWASP sur la sécurité agentique préparent dès aujourd’hui le terrain pour répondre à cette menace émergente.

Ce qu’il faut retenir

Ce rapport dessine un paysage de menaces en mutation rapide où l’IA générative agit comme un accélérateur pour l’ensemble des acteurs malveillants, tout en constituant elle-même une surface d’attaque croissante.

L’agence insiste sur la nécessité d’une réévaluation régulière de ces menaces et renvoie vers son guide Recommandations de sécurité pour un système d’IA générative, publié en avril 2024, comme socle de bonnes pratiques.

Pour les organisations déployant des systèmes d’IA, la lecture croisée de ce rapport ANSSI avec les référentiels OWASP

constitue une base solide pour évaluer et mitiger les risques. Le guide de test de sécurité IA de l’OWASP, cf mon blog, vient compléter cet arsenal pour les équipes souhaitant passer de la théorie à la pratique.

En conclusion, l’ANSSI offre une synthèse précieuse qui confirme les tendances observées dans l’écosystème de la sécurité IA et souligne l’urgence d’adapter nos défenses à cette nouvelle réalité. L’IA générative est à la fois un outil puissant pour les défenseurs et une menace redoutable entre les mains des attaquants, et il est impératif de rester vigilant face à cette évolution rapide.