Category Archive

Dans cet article, nous allons explorer comment utiliser Promptfoo pour les tests de sécurité (red-teaming /pentests) des modèles de langage (LLM), en nous concentrant sur les vulnérabilités du OWASP Top 10 pour les applications LLM en 2025. Nous détaillerons comment déployer Promptfoo, les types de prompts à utiliser pour chaque risque, et fournirons des références GitHub pour approfondir ces tests.

L’OWASP a publié la checklist de gouvernance autour des applications d’AI et des LLM. Cette liste, a la ‘Prévert’, est assez interessante. Mais une approche pragmatique avec des outils me semble intéressante a vous proposer.

La Consommation Excessive (Unbounded Consumption) est une vulnérabilité critique des modèles de langage (LLM), où des utilisateurs peuvent effectuer des inférences excessives et incontrôlées. Cela entraîne des risques tels que la dégradation du service, des pertes économiques, le vol de propriété intellectuelle et une exploitation abusive des ressources informatiques, particulièrement dans les environnements cloud.

Les modèles de langage à grande échelle (LLMs) ont révolutionné de nombreux secteurs grâce à leur capacité à générer du contenu automatisé et à interagir avec les utilisateurs. Cependant, ces avancées sont accompagnées de défis importants, notamment la propagation de la Désinformation.

Pourquoi est-ce important ?

Dans la grande galaxie OWASP et la non moins grande galaxie des top10 et aussi de l’IA, L’OWASP (Open Web Application Security Project) a publié en 2023 un guide spécifique pour la sécurité des modèles de machine learning, intitulé OWASP Machine Learning Security Top 10. Ce document met en lumière les principales vulnérabilités associées aux systèmes de machine learning et propose des stratégies pour les atténuer.

Dans le contexte de la Génération Augmentée de Récupération (RAG), les embeddings sont des représentations vectorielles de mots ou de groupes de mots. Ces vecteurs encapsulent des informations sur les contextes dans lesquels les mots apparaissent, permettant ainsi aux modèles de langage de calculer des similarités sémantiques entre eux. Les embeddings sont essentiels pour la RAG car ils permettent de rechercher et de comparer efficacement les informations pertinentes dans une base de données vectorielle, améliorant ainsi la précision des réponses générées par les modèles de langage.

La génération de contenu assistée par l’intelligence artificielle (IA) a connu des avancées spectaculaires grâce aux modèles de langage à grande échelle (LLMs). Cependant, ces modèles présentent des limites, notamment en termes de précision et de pertinence des informations générées. Pour pallier ces défauts, la technique de Retrieval-Augmented Generation (RAG) est devenue essentielle pour améliorer la génération de contenu en IA.

Pourquoi est-ce important ?

Pourquoi est-ce important ?

La Gestion Inappropriée des Sorties concerne les défauts dans la gestion des contenus générés par les LLM avant leur traitement par d’autres systèmes, exposant les applications à divers risques de sécurité.

L’empoisonnement des données et des modèles se produit lorsque les données utilisées pour le pré-entraînement, l’ajustement ou l’intégration sont manipulées pour introduire des vulnérabilités, des portes dérobées ou des biais. Cette manipulation peut compromettre la sécurité, les performances ou le comportement éthique du modèle, entraînant des sorties nuisibles ou des capacités altérées.

L’empoisonnement de la chaîne d’approvisionnement dans le contexte des Large Language Models (LLM) fait référence aux vulnérabilités qui affectent l’intégrité des données d’entraînement, des modèles et des plateformes de déploiement.

En plus des mesures précédentes, il est possible de renforcer la sécurité des applications LLM en adoptant des pratiques de sécurité avancées. Ces stratégies complémentaires peuvent aider à atténuer les risques liés à l’utilisation de modèles des LLMs .

La gestion de sortie non sécurisée fait référence à l’absence de contrôle ou de filtrage des données envoyées par une application à l’utilisateur. Cela peut entraîner des vulnérabilités telles que les attaques par injection de code (XSS, etc.), où un attaquant peut manipuler les données affichées pour exécuter du code malveillant.

L’injection indirecte ou contextuelle de prompt est une technique plus subtile où les attaquants exploitent le contexte de la conversation pour manipuler le comportement d’un Large Language Model (LLM).

L’injection directe de prompt est une technique utilisée par les attaquants pour insérer des instructions malveillantes directement dans les entrées utilisateur d’un Large Language Model (LLM). Cette méthode vise à modifier le comportement du modèle, le forçant à divulguer des informations sensibles ou à exécuter des actions non autorisées.

Les Large Language Models (LLM) sont de plus en plus intégrés dans diverses applications, allant des chatbots aux systèmes de recommandation. Cependant, leur utilisation croissante s’accompagne de risques de sécurité significatifs. L’un des principaux risques identifiés par l’OWASP Top 10 pour les applications LLM est l’injection de prompt.

Le pre-prompting quesako ? 🤔

Dans le cadre des développements autour d’applications modernes vous avez surement vu passer les références à des normes de sécurité telles que SOC2 (bien que SOC2 ne soit pas une réelle norme de sécurité ) et ISO27000.

La version 2025 de l’OWASP Top 10 pour les Applications LLM introduit plusieurs changements notables par rapport à l’édition précédente. Voici un aperçu des nouveautés :

L’OWASP a publié la version 2025 de son “Top 10 pour les Applications LLM” le 18 novembre 2024. Ce guide vise à aider les organisations à identifier et atténuer les principaux risques de sécurité dans les applications LLM, telles que les chatbots et les systèmes RAG. Voici un aperçu des points clés de cette nouvelle version :

Voila, il y a qq jours, l’ouvrage est paru…. Il était une faille… Histoires marquantes de la cybersécurité

Dans cet article, nous allons explorer comment utiliser Promptfoo pour les tests de sécurité (red-teaming /pentests) des modèles de langage (LLM), en nous concentrant sur les vulnérabilités du OWASP Top 10 pour les applications LLM en 2025. Nous détaillerons comment déployer Promptfoo, les types de prompts à utiliser pour chaque risque, et fournirons des références GitHub pour approfondir ces tests.

L’OWASP a publié la checklist de gouvernance autour des applications d’AI et des LLM. Cette liste, a la ‘Prévert’, est assez interessante. Mais une approche pragmatique avec des outils me semble intéressante a vous proposer.

Petite veille de la semaine du 17 mars 2025

La Consommation Excessive (Unbounded Consumption) est une vulnérabilité critique des modèles de langage (LLM), où des utilisateurs peuvent effectuer des inférences excessives et incontrôlées. Cela entraîne des risques tels que la dégradation du service, des pertes économiques, le vol de propriété intellectuelle et une exploitation abusive des ressources informatiques, particulièrement dans les environnements cloud.

Les modèles de langage à grande échelle (LLMs) ont révolutionné de nombreux secteurs grâce à leur capacité à générer du contenu automatisé et à interagir avec les utilisateurs. Cependant, ces avancées sont accompagnées de défis importants, notamment la propagation de la Désinformation.

Pourquoi est-ce important ?

Dans la grande galaxie OWASP et la non moins grande galaxie des top10 et aussi de l’IA, L’OWASP (Open Web Application Security Project) a publié en 2023 un guide spécifique pour la sécurité des modèles de machine learning, intitulé OWASP Machine Learning Security Top 10. Ce document met en lumière les principales vulnérabilités associées aux systèmes de machine learning et propose des stratégies pour les atténuer.

Dans le contexte de la Génération Augmentée de Récupération (RAG), les embeddings sont des représentations vectorielles de mots ou de groupes de mots. Ces vecteurs encapsulent des informations sur les contextes dans lesquels les mots apparaissent, permettant ainsi aux modèles de langage de calculer des similarités sémantiques entre eux. Les embeddings sont essentiels pour la RAG car ils permettent de rechercher et de comparer efficacement les informations pertinentes dans une base de données vectorielle, améliorant ainsi la précision des réponses générées par les modèles de langage.

Pourquoi est-ce important ?

Petite veille de la semaine du 10 mars 2025

Pourquoi est-ce important ?

La Gestion Inappropriée des Sorties concerne les défauts dans la gestion des contenus générés par les LLM avant leur traitement par d’autres systèmes, exposant les applications à divers risques de sécurité.

L’empoisonnement des données et des modèles se produit lorsque les données utilisées pour le pré-entraînement, l’ajustement ou l’intégration sont manipulées pour introduire des vulnérabilités, des portes dérobées ou des biais. Cette manipulation peut compromettre la sécurité, les performances ou le comportement éthique du modèle, entraînant des sorties nuisibles ou des capacités altérées.

L’empoisonnement de la chaîne d’approvisionnement dans le contexte des Large Language Models (LLM) fait référence aux vulnérabilités qui affectent l’intégrité des données d’entraînement, des modèles et des plateformes de déploiement.

En plus des mesures précédentes, il est possible de renforcer la sécurité des applications LLM en adoptant des pratiques de sécurité avancées. Ces stratégies complémentaires peuvent aider à atténuer les risques liés à l’utilisation de modèles des LLMs .

La gestion de sortie non sécurisée fait référence à l’absence de contrôle ou de filtrage des données envoyées par une application à l’utilisateur. Cela peut entraîner des vulnérabilités telles que les attaques par injection de code (XSS, etc.), où un attaquant peut manipuler les données affichées pour exécuter du code malveillant.

Petite veille de la semaine du 3 mars

Voila, il y a qq jours, l’ouvrage est paru…. Il était une faille… Histoires marquantes de la cybersécurité

💡 SOC 2 est une norme de sécurité des informations qui évalue les contrôles de sécurité d’une organisation en fonction de cinq critères majeurs:

Dans cet article, nous allons explorer comment utiliser Promptfoo pour les tests de sécurité (red-teaming /pentests) des modèles de langage (LLM), en nous concentrant sur les vulnérabilités du OWASP Top 10 pour les applications LLM en 2025. Nous détaillerons comment déployer Promptfoo, les types de prompts à utiliser pour chaque risque, et fournirons des références GitHub pour approfondir ces tests.

Les modèles de langage à grande échelle (LLMs) ont révolutionné de nombreux secteurs grâce à leur capacité à générer du contenu automatisé et à interagir avec les utilisateurs. Cependant, ces avancées sont accompagnées de défis importants, notamment la propagation de la Désinformation.

Pourquoi est-ce important ?

Dans le contexte de la Génération Augmentée de Récupération (RAG), les embeddings sont des représentations vectorielles de mots ou de groupes de mots. Ces vecteurs encapsulent des informations sur les contextes dans lesquels les mots apparaissent, permettant ainsi aux modèles de langage de calculer des similarités sémantiques entre eux. Les embeddings sont essentiels pour la RAG car ils permettent de rechercher et de comparer efficacement les informations pertinentes dans une base de données vectorielle, améliorant ainsi la précision des réponses générées par les modèles de langage.

Pourquoi est-ce important ?

Pourquoi est-ce important ?

La Gestion Inappropriée des Sorties concerne les défauts dans la gestion des contenus générés par les LLM avant leur traitement par d’autres systèmes, exposant les applications à divers risques de sécurité.

L’empoisonnement des données et des modèles se produit lorsque les données utilisées pour le pré-entraînement, l’ajustement ou l’intégration sont manipulées pour introduire des vulnérabilités, des portes dérobées ou des biais. Cette manipulation peut compromettre la sécurité, les performances ou le comportement éthique du modèle, entraînant des sorties nuisibles ou des capacités altérées.

L’empoisonnement de la chaîne d’approvisionnement dans le contexte des Large Language Models (LLM) fait référence aux vulnérabilités qui affectent l’intégrité des données d’entraînement, des modèles et des plateformes de déploiement.

En plus des mesures précédentes, il est possible de renforcer la sécurité des applications LLM en adoptant des pratiques de sécurité avancées. Ces stratégies complémentaires peuvent aider à atténuer les risques liés à l’utilisation de modèles des LLMs .

La gestion de sortie non sécurisée fait référence à l’absence de contrôle ou de filtrage des données envoyées par une application à l’utilisateur. Cela peut entraîner des vulnérabilités telles que les attaques par injection de code (XSS, etc.), où un attaquant peut manipuler les données affichées pour exécuter du code malveillant.

L’injection de prompt est une menace sérieuse pour les applications utilisant des Large Language Models (LLM). Pour protéger vos systèmes contre ces attaques, il est crucial de mettre en place des contre-mesures robustes. Voici quelques stratégies efficaces pour atténuer les risques associés à l’injection de prompt.

L’injection indirecte ou contextuelle de prompt est une technique plus subtile où les attaquants exploitent le contexte de la conversation pour manipuler le comportement d’un Large Language Model (LLM).

L’injection directe de prompt est une technique utilisée par les attaquants pour insérer des instructions malveillantes directement dans les entrées utilisateur d’un Large Language Model (LLM). Cette méthode vise à modifier le comportement du modèle, le forçant à divulguer des informations sensibles ou à exécuter des actions non autorisées.

Les Large Language Models (LLM) sont de plus en plus intégrés dans diverses applications, allant des chatbots aux systèmes de recommandation. Cependant, leur utilisation croissante s’accompagne de risques de sécurité significatifs. L’un des principaux risques identifiés par l’OWASP Top 10 pour les applications LLM est l’injection de prompt.

Le pre-prompting quesako ? 🤔

La version 2025 de l’OWASP Top 10 pour les Applications LLM introduit plusieurs changements notables par rapport à l’édition précédente. Voici un aperçu des nouveautés :

L’OWASP a publié la version 2025 de son “Top 10 pour les Applications LLM” le 18 novembre 2024. Ce guide vise à aider les organisations à identifier et atténuer les principaux risques de sécurité dans les applications LLM, telles que les chatbots et les systèmes RAG. Voici un aperçu des points clés de cette nouvelle version :

La Consommation Excessive (Unbounded Consumption) est une vulnérabilité critique des modèles de langage (LLM), où des utilisateurs peuvent effectuer des inférences excessives et incontrôlées. Cela entraîne des risques tels que la dégradation du service, des pertes économiques, le vol de propriété intellectuelle et une exploitation abusive des ressources informatiques, particulièrement dans les environnements cloud.

Les modèles de langage à grande échelle (LLMs) ont révolutionné de nombreux secteurs grâce à leur capacité à générer du contenu automatisé et à interagir avec les utilisateurs. Cependant, ces avancées sont accompagnées de défis importants, notamment la propagation de la Désinformation.

Pourquoi est-ce important ?

Pourquoi est-ce important ?

Pourquoi est-ce important ?

La Gestion Inappropriée des Sorties concerne les défauts dans la gestion des contenus générés par les LLM avant leur traitement par d’autres systèmes, exposant les applications à divers risques de sécurité.

L’empoisonnement des données et des modèles se produit lorsque les données utilisées pour le pré-entraînement, l’ajustement ou l’intégration sont manipulées pour introduire des vulnérabilités, des portes dérobées ou des biais. Cette manipulation peut compromettre la sécurité, les performances ou le comportement éthique du modèle, entraînant des sorties nuisibles ou des capacités altérées.

L’empoisonnement de la chaîne d’approvisionnement dans le contexte des Large Language Models (LLM) fait référence aux vulnérabilités qui affectent l’intégrité des données d’entraînement, des modèles et des plateformes de déploiement.

En plus des mesures précédentes, il est possible de renforcer la sécurité des applications LLM en adoptant des pratiques de sécurité avancées. Ces stratégies complémentaires peuvent aider à atténuer les risques liés à l’utilisation de modèles des LLMs .

La gestion de sortie non sécurisée fait référence à l’absence de contrôle ou de filtrage des données envoyées par une application à l’utilisateur. Cela peut entraîner des vulnérabilités telles que les attaques par injection de code (XSS, etc.), où un attaquant peut manipuler les données affichées pour exécuter du code malveillant.

L’injection de prompt est une menace sérieuse pour les applications utilisant des Large Language Models (LLM). Pour protéger vos systèmes contre ces attaques, il est crucial de mettre en place des contre-mesures robustes. Voici quelques stratégies efficaces pour atténuer les risques associés à l’injection de prompt.

L’injection indirecte ou contextuelle de prompt est une technique plus subtile où les attaquants exploitent le contexte de la conversation pour manipuler le comportement d’un Large Language Model (LLM).

L’injection directe de prompt est une technique utilisée par les attaquants pour insérer des instructions malveillantes directement dans les entrées utilisateur d’un Large Language Model (LLM). Cette méthode vise à modifier le comportement du modèle, le forçant à divulguer des informations sensibles ou à exécuter des actions non autorisées.

Les Large Language Models (LLM) sont de plus en plus intégrés dans diverses applications, allant des chatbots aux systèmes de recommandation. Cependant, leur utilisation croissante s’accompagne de risques de sécurité significatifs. L’un des principaux risques identifiés par l’OWASP Top 10 pour les applications LLM est l’injection de prompt.

Le pre-prompting quesako ? 🤔

La version 2025 de l’OWASP Top 10 pour les Applications LLM introduit plusieurs changements notables par rapport à l’édition précédente. Voici un aperçu des nouveautés :

L’OWASP a publié la version 2025 de son “Top 10 pour les Applications LLM” le 18 novembre 2024. Ce guide vise à aider les organisations à identifier et atténuer les principaux risques de sécurité dans les applications LLM, telles que les chatbots et les systèmes RAG. Voici un aperçu des points clés de cette nouvelle version :

Dans cet article, nous allons explorer comment utiliser Promptfoo pour les tests de sécurité (red-teaming /pentests) des modèles de langage (LLM), en nous concentrant sur les vulnérabilités du OWASP Top 10 pour les applications LLM en 2025. Nous détaillerons comment déployer Promptfoo, les types de prompts à utiliser pour chaque risque, et fournirons des références GitHub pour approfondir ces tests.

L’OWASP a publié la checklist de gouvernance autour des applications d’AI et des LLM. Cette liste, a la ‘Prévert’, est assez interessante. Mais une approche pragmatique avec des outils me semble intéressante a vous proposer.

La Consommation Excessive (Unbounded Consumption) est une vulnérabilité critique des modèles de langage (LLM), où des utilisateurs peuvent effectuer des inférences excessives et incontrôlées. Cela entraîne des risques tels que la dégradation du service, des pertes économiques, le vol de propriété intellectuelle et une exploitation abusive des ressources informatiques, particulièrement dans les environnements cloud.

Les modèles de langage à grande échelle (LLMs) ont révolutionné de nombreux secteurs grâce à leur capacité à générer du contenu automatisé et à interagir avec les utilisateurs. Cependant, ces avancées sont accompagnées de défis importants, notamment la propagation de la Désinformation.

Pourquoi est-ce important ?

Dans la grande galaxie OWASP et la non moins grande galaxie des top10 et aussi de l’IA, L’OWASP (Open Web Application Security Project) a publié en 2023 un guide spécifique pour la sécurité des modèles de machine learning, intitulé OWASP Machine Learning Security Top 10. Ce document met en lumière les principales vulnérabilités associées aux systèmes de machine learning et propose des stratégies pour les atténuer.

Dans le contexte de la Génération Augmentée de Récupération (RAG), les embeddings sont des représentations vectorielles de mots ou de groupes de mots. Ces vecteurs encapsulent des informations sur les contextes dans lesquels les mots apparaissent, permettant ainsi aux modèles de langage de calculer des similarités sémantiques entre eux. Les embeddings sont essentiels pour la RAG car ils permettent de rechercher et de comparer efficacement les informations pertinentes dans une base de données vectorielle, améliorant ainsi la précision des réponses générées par les modèles de langage.

La génération de contenu assistée par l’intelligence artificielle (IA) a connu des avancées spectaculaires grâce aux modèles de langage à grande échelle (LLMs). Cependant, ces modèles présentent des limites, notamment en termes de précision et de pertinence des informations générées. Pour pallier ces défauts, la technique de Retrieval-Augmented Generation (RAG) est devenue essentielle pour améliorer la génération de contenu en IA.

Pourquoi est-ce important ?

Pourquoi est-ce important ?

La Gestion Inappropriée des Sorties concerne les défauts dans la gestion des contenus générés par les LLM avant leur traitement par d’autres systèmes, exposant les applications à divers risques de sécurité.

L’empoisonnement des données et des modèles se produit lorsque les données utilisées pour le pré-entraînement, l’ajustement ou l’intégration sont manipulées pour introduire des vulnérabilités, des portes dérobées ou des biais. Cette manipulation peut compromettre la sécurité, les performances ou le comportement éthique du modèle, entraînant des sorties nuisibles ou des capacités altérées.

L’empoisonnement de la chaîne d’approvisionnement dans le contexte des Large Language Models (LLM) fait référence aux vulnérabilités qui affectent l’intégrité des données d’entraînement, des modèles et des plateformes de déploiement.

En plus des mesures précédentes, il est possible de renforcer la sécurité des applications LLM en adoptant des pratiques de sécurité avancées. Ces stratégies complémentaires peuvent aider à atténuer les risques liés à l’utilisation de modèles des LLMs .

La gestion de sortie non sécurisée fait référence à l’absence de contrôle ou de filtrage des données envoyées par une application à l’utilisateur. Cela peut entraîner des vulnérabilités telles que les attaques par injection de code (XSS, etc.), où un attaquant peut manipuler les données affichées pour exécuter du code malveillant.

Voila, il y a qq jours, l’ouvrage est paru…. Il était une faille… Histoires marquantes de la cybersécurité

Dans cet article, nous allons explorer comment utiliser Promptfoo pour les tests de sécurité (red-teaming /pentests) des modèles de langage (LLM), en nous concentrant sur les vulnérabilités du OWASP Top 10 pour les applications LLM en 2025. Nous détaillerons comment déployer Promptfoo, les types de prompts à utiliser pour chaque risque, et fournirons des références GitHub pour approfondir ces tests.

L’OWASP a publié la checklist de gouvernance autour des applications d’AI et des LLM. Cette liste, a la ‘Prévert’, est assez interessante. Mais une approche pragmatique avec des outils me semble intéressante a vous proposer.

La Consommation Excessive (Unbounded Consumption) est une vulnérabilité critique des modèles de langage (LLM), où des utilisateurs peuvent effectuer des inférences excessives et incontrôlées. Cela entraîne des risques tels que la dégradation du service, des pertes économiques, le vol de propriété intellectuelle et une exploitation abusive des ressources informatiques, particulièrement dans les environnements cloud.

Les modèles de langage à grande échelle (LLMs) ont révolutionné de nombreux secteurs grâce à leur capacité à générer du contenu automatisé et à interagir avec les utilisateurs. Cependant, ces avancées sont accompagnées de défis importants, notamment la propagation de la Désinformation.

Pourquoi est-ce important ?

Dans la grande galaxie OWASP et la non moins grande galaxie des top10 et aussi de l’IA, L’OWASP (Open Web Application Security Project) a publié en 2023 un guide spécifique pour la sécurité des modèles de machine learning, intitulé OWASP Machine Learning Security Top 10. Ce document met en lumière les principales vulnérabilités associées aux systèmes de machine learning et propose des stratégies pour les atténuer.

Dans le contexte de la Génération Augmentée de Récupération (RAG), les embeddings sont des représentations vectorielles de mots ou de groupes de mots. Ces vecteurs encapsulent des informations sur les contextes dans lesquels les mots apparaissent, permettant ainsi aux modèles de langage de calculer des similarités sémantiques entre eux. Les embeddings sont essentiels pour la RAG car ils permettent de rechercher et de comparer efficacement les informations pertinentes dans une base de données vectorielle, améliorant ainsi la précision des réponses générées par les modèles de langage.

La génération de contenu assistée par l’intelligence artificielle (IA) a connu des avancées spectaculaires grâce aux modèles de langage à grande échelle (LLMs). Cependant, ces modèles présentent des limites, notamment en termes de précision et de pertinence des informations générées. Pour pallier ces défauts, la technique de Retrieval-Augmented Generation (RAG) est devenue essentielle pour améliorer la génération de contenu en IA.

Pourquoi est-ce important ?

Pourquoi est-ce important ?

La Gestion Inappropriée des Sorties concerne les défauts dans la gestion des contenus générés par les LLM avant leur traitement par d’autres systèmes, exposant les applications à divers risques de sécurité.

L’empoisonnement des données et des modèles se produit lorsque les données utilisées pour le pré-entraînement, l’ajustement ou l’intégration sont manipulées pour introduire des vulnérabilités, des portes dérobées ou des biais. Cette manipulation peut compromettre la sécurité, les performances ou le comportement éthique du modèle, entraînant des sorties nuisibles ou des capacités altérées.

L’empoisonnement de la chaîne d’approvisionnement dans le contexte des Large Language Models (LLM) fait référence aux vulnérabilités qui affectent l’intégrité des données d’entraînement, des modèles et des plateformes de déploiement.

En plus des mesures précédentes, il est possible de renforcer la sécurité des applications LLM en adoptant des pratiques de sécurité avancées. Ces stratégies complémentaires peuvent aider à atténuer les risques liés à l’utilisation de modèles des LLMs .

La gestion de sortie non sécurisée fait référence à l’absence de contrôle ou de filtrage des données envoyées par une application à l’utilisateur. Cela peut entraîner des vulnérabilités telles que les attaques par injection de code (XSS, etc.), où un attaquant peut manipuler les données affichées pour exécuter du code malveillant.

Petite veille de la semaine du 17 mars 2025

La Consommation Excessive (Unbounded Consumption) est une vulnérabilité critique des modèles de langage (LLM), où des utilisateurs peuvent effectuer des inférences excessives et incontrôlées. Cela entraîne des risques tels que la dégradation du service, des pertes économiques, le vol de propriété intellectuelle et une exploitation abusive des ressources informatiques, particulièrement dans les environnements cloud.

Petite veille de la semaine du 10 mars 2025

Petite veille de la semaine du 3 mars

L’exposition de données sensibles se produit lorsque des informations confidentielles, telles que des identifiants personnels, des informations financières, des dossiers médicaux, ou des secrets commerciaux, deviennent accessibles à des parties non autorisées.

🛡️ L’OWASP a publié un guide pratique pour évaluer les vulnérabilités des systèmes GEN AI à travers le Red Teaming. Ce guide aide les organisations à identifier et à atténuer les risques de sécurité associés aux technologies d’IA générative.

🚀 Ce post est le premier d’une série de plusieurs articles autour des risques et de comment l’OWASP peut aider a protéger des systèmes de Generative AI . Il fait suite a la présentation que j’ai pu effectuer en Décembre 2024 à Hack-it-n, et va continuer sur différents sujets autour de cette GEN AI

L’injection de prompt est une menace sérieuse pour les applications utilisant des Large Language Models (LLM). Pour protéger vos systèmes contre ces attaques, il est crucial de mettre en place des contre-mesures robustes. Voici quelques stratégies efficaces pour atténuer les risques associés à l’injection de prompt.

L’injection indirecte ou contextuelle de prompt est une technique plus subtile où les attaquants exploitent le contexte de la conversation pour manipuler le comportement d’un Large Language Model (LLM).

L’injection directe de prompt est une technique utilisée par les attaquants pour insérer des instructions malveillantes directement dans les entrées utilisateur d’un Large Language Model (LLM). Cette méthode vise à modifier le comportement du modèle, le forçant à divulguer des informations sensibles ou à exécuter des actions non autorisées.

Les Large Language Models (LLM) sont de plus en plus intégrés dans diverses applications, allant des chatbots aux systèmes de recommandation. Cependant, leur utilisation croissante s’accompagne de risques de sécurité significatifs. L’un des principaux risques identifiés par l’OWASP Top 10 pour les applications LLM est l’injection de prompt.

Le pre-prompting quesako ? 🤔

L’injection de prompt est une menace sérieuse pour les applications utilisant des Large Language Models (LLM). Pour protéger vos systèmes contre ces attaques, il est crucial de mettre en place des contre-mesures robustes. Voici quelques stratégies efficaces pour atténuer les risques associés à l’injection de prompt.

L’exposition de données sensibles se produit lorsque des informations confidentielles, telles que des identifiants personnels, des informations financières, des dossiers médicaux, ou des secrets commerciaux, deviennent accessibles à des parties non autorisées.

🛡️ L’OWASP a publié un guide pratique pour évaluer les vulnérabilités des systèmes GEN AI à travers le Red Teaming. Ce guide aide les organisations à identifier et à atténuer les risques de sécurité associés aux technologies d’IA générative.

🚀 Ce post est le premier d’une série de plusieurs articles autour des risques et de comment l’OWASP peut aider a protéger des systèmes de Generative AI . Il fait suite a la présentation que j’ai pu effectuer en Décembre 2024 à Hack-it-n, et va continuer sur différents sujets autour de cette GEN AI

Dans le cadre des développements autour d’applications modernes vous avez surement vu passer les références à des normes de sécurité telles que SOC2 (bien que SOC2 ne soit pas une réelle norme de sécurité ) et ISO27000.

L’exposition de données sensibles se produit lorsque des informations confidentielles, telles que des identifiants personnels, des informations financières, des dossiers médicaux, ou des secrets commerciaux, deviennent accessibles à des parties non autorisées.

🛡️ L’OWASP a publié un guide pratique pour évaluer les vulnérabilités des systèmes GEN AI à travers le Red Teaming. Ce guide aide les organisations à identifier et à atténuer les risques de sécurité associés aux technologies d’IA générative.

🚀 Ce post est le premier d’une série de plusieurs articles autour des risques et de comment l’OWASP peut aider a protéger des systèmes de Generative AI . Il fait suite a la présentation que j’ai pu effectuer en Décembre 2024 à Hack-it-n, et va continuer sur différents sujets autour de cette GEN AI

L’exposition de données sensibles se produit lorsque des informations confidentielles, telles que des identifiants personnels, des informations financières, des dossiers médicaux, ou des secrets commerciaux, deviennent accessibles à des parties non autorisées.

🛡️ L’OWASP a publié un guide pratique pour évaluer les vulnérabilités des systèmes GEN AI à travers le Red Teaming. Ce guide aide les organisations à identifier et à atténuer les risques de sécurité associés aux technologies d’IA générative.

🚀 Ce post est le premier d’une série de plusieurs articles autour des risques et de comment l’OWASP peut aider a protéger des systèmes de Generative AI . Il fait suite a la présentation que j’ai pu effectuer en Décembre 2024 à Hack-it-n, et va continuer sur différents sujets autour de cette GEN AI

Dans le cadre des développements autour d’applications modernes vous avez surement vu passer les références à des normes de sécurité telles que SOC2 (bien que SOC2 ne soit pas une réelle norme de sécurité ) et ISO27000.

💡 SOC 2 est une norme de sécurité des informations qui évalue les contrôles de sécurité d’une organisation en fonction de cinq critères majeurs:

La version 2025 de l’OWASP Top 10 pour les Applications LLM introduit plusieurs changements notables par rapport à l’édition précédente. Voici un aperçu des nouveautés :

L’OWASP a publié la version 2025 de son “Top 10 pour les Applications LLM” le 18 novembre 2024. Ce guide vise à aider les organisations à identifier et atténuer les principaux risques de sécurité dans les applications LLM, telles que les chatbots et les systèmes RAG. Voici un aperçu des points clés de cette nouvelle version :

Dans le cadre des développements autour d’applications modernes vous avez surement vu passer les références à des normes de sécurité telles que SOC2 (bien que SOC2 ne soit pas une réelle norme de sécurité ) et ISO27000.

Here are the quick notes of the day:

L’injection de prompt est une menace sérieuse pour les applications utilisant des Large Language Models (LLM). Pour protéger vos systèmes contre ces attaques, il est crucial de mettre en place des contre-mesures robustes. Voici quelques stratégies efficaces pour atténuer les risques associés à l’injection de prompt.

💡 SOC 2 est une norme de sécurité des informations qui évalue les contrôles de sécurité d’une organisation en fonction de cinq critères majeurs:

Voila, il y a qq jours, l’ouvrage est paru…. Il était une faille… Histoires marquantes de la cybersécurité

L’injection de prompt est une menace sérieuse pour les applications utilisant des Large Language Models (LLM). Pour protéger vos systèmes contre ces attaques, il est crucial de mettre en place des contre-mesures robustes. Voici quelques stratégies efficaces pour atténuer les risques associés à l’injection de prompt.

Dans cet article, nous allons explorer comment utiliser Promptfoo pour les tests de sécurité (red-teaming /pentests) des modèles de langage (LLM), en nous concentrant sur les vulnérabilités du OWASP Top 10 pour les applications LLM en 2025. Nous détaillerons comment déployer Promptfoo, les types de prompts à utiliser pour chaque risque, et fournirons des références GitHub pour approfondir ces tests.

Le pre-prompting quesako ? 🤔

🛡️ L’OWASP a publié un guide pratique pour évaluer les vulnérabilités des systèmes GEN AI à travers le Red Teaming. Ce guide aide les organisations à identifier et à atténuer les risques de sécurité associés aux technologies d’IA générative.

Dans cet article, nous allons explorer comment utiliser Promptfoo pour les tests de sécurité (red-teaming /pentests) des modèles de langage (LLM), en nous concentrant sur les vulnérabilités du OWASP Top 10 pour les applications LLM en 2025. Nous détaillerons comment déployer Promptfoo, les types de prompts à utiliser pour chaque risque, et fournirons des références GitHub pour approfondir ces tests.