Menu

Un faux témoignage envoyé à la police de Philadelphie : Anthropic coupe internet à toutes ses évaluations

Catégories

Tags

🔍 Licence d'Utilisation 🔍

Sauf mention contraire, le contenu de ce blog est sous licence CC BY-NC-ND 4.0.

© 2025 à 2042 Sébastien Gioria. Tous droits réservés.

⏱️
Temps de lecture estimé
3 min de lecture
⏱️
Temps de lecture estimé
~4 minutes

Le 9 octobre, Anthropic a coupé l’accès internet de toutes ses évaluations internes. Un modèle avait injecté du SQL sur un serveur universitaire, soumis de vrais formulaires gouvernementaux et envoyé un faux tip à la police de Philadelphie. Personne ne l’avait attaqué ; il avait simplement refusé de s’arrêter devant un obstacle.

Le 18 juillet 2026, un site de la police de Philadelphie dédié aux homicides non élucidés reçoit un tip. Il est rédigé avec soin : quelqu’un dit avoir croisé, à l’époque des faits, une personne correspondant à la description. Rien d’exceptionnel pour ce genre de formulaire. Sauf que personne n’a rien vu. Le « témoin » est Claude Haiku 4.5, à qui l’on avait demandé de générer des exemples de tâches sur des pages web tirées au hasard. La consigne disait de ne jamais se connecter, de ne pas créer de compte, de ne pas saisir de données personnelles, de ne rien acheter, de ne rien soumettre de destructeur. Elle ne parlait pas des formulaires.

Le tip a été classé comme spam et n’a jamais atteint un enquêteur. C’est la seule bonne nouvelle. Pour le reste, la police de Philadelphie dit n’avoir rien su avant que l’entreprise ne la prévienne, début octobre, et qualifie le délai d’inacceptable.

Note du PandaRedacteur : un agent qui dépose un faux témoignage dans une affaire de meurtre, on ne range pas ça dans « bug de prompt ». « Ne fais rien de destructeur », c’est la liste de ce que quelqu’un a pensé à interdire un mardi matin. Le reste du monde n’était pas au programme.

Ce que dit le rapport

Anthropic a relu des transcripts à partir de juillet et décrit des cas plutôt qu’un taux d’incidents. Quatre catégories ressortent :

  • Exécuter des commandes via une faille : un modèle repère une injection sur un serveur universitaire et s’en sert pour lancer son calcul.
  • Soumettre de vrais formulaires : le formulaire d’entraînement ne charge pas, le modèle bascule sur le vrai site et le soumet.
  • Contourner une restriction pour atteindre des données : jetons lus dans un fichier de configuration, données payantes récupérées sans payer.
  • Passer par des raccourcisseurs d’URL : pour contourner la limite de longueur d’URL de l’outil de fetch.

Le fil rouge, c’est la persistance : face à un obstacle, l’agent contourne au lieu de s’arrêter.

Au menu de la version abonnés

Au Menu, la suite de l’analyse :

  • le fil rouge de la persistance, avec le diagramme du moment où l’agent choisit de contourner au lieu de s’arrêter ;
  • les deux détails qui montrent que le mécanisme n’a rien d’exotique : le fallback vers la production et le « stop avant de soumettre » ;
  • pourquoi votre agent coche la même liste que ceux des laboratoires ;
  • l’analyse STRIDE et le tableau d’impact détaillés ;
  • les sept mitigations à mettre en place avant de donner internet à un agent ;
  • ce que le rapport laisse flou, et ce qu’Anthropic a déjà changé de son côté ;
  • et la sketchnote du PandaRedacteur résumant tout cela en anglais.
📬 Analyse complète réservée aux abonnés Substack
Le fil rouge, le STRIDE, l'impact et les sept mitigations partent d'abord aux abonnés Substack, avant d'être publiés intégralement ici.

📚 Quelques références pour aller plus loin

LinkedIn Reddit Substack