Anthropic découvre un trou de 11 mois dans la sécurité de ses IA

Anthropic vient de sortir son deuxième rapport de risques, comme l’entreprise s’engage à en produire tous les trois à six mois pour évaluer le danger que représentent ses modèles d’IA. Il révèle que les filtres censés bloquer les échanges liés aux armes biologiques sont restés désactivés pendant onze mois sur les plateformes utilisées par ses prestataires humains.

La faille remonte à mai 2025, date du premier déploiement de modèles dotés de ces garde-fous. Un indicateur technique réservé à un usage interne désactivait en même temps le blocage des classificateurs biologiques et la journalisation de leurs alertes : les échanges qui auraient dû être signalés n’étaient ni enregistrés, ni transmis à un quelconque mécanisme de contrôle. Anthropic dit avoir découvert le problème depuis son précédent rapport, publié en février.

Le trou concernait tout le trafic généré par les plateformes de retour humain, utilisées pour évaluer et noter les réponses des modèles Claude Fable 5 et Mythos 5 . Il touchait un bassin d’environ 50 000 prestataires, pour près de 133 millions d’échanges au total. Ces personnes étaient recrutées et vérifiées par des sous-traitants externes, dont beaucoup, selon le rapport, n’avaient pas de processus de sélection capables d’arrêter ne serait-ce qu’un acteur malveillant de faible niveau. Dans une note de bas de page, on apprend même qu’avant avril 2026, un acteur malveillant aurait probablement pu se faire embaucher chez l’un de ses prestataires.

Anthropic a fait rejouer l’ensemble des échanges concernés par un modèle classificateur, Claude Sonnet 5 , chargé de repérer après coup tout contenu à risque biologique élevé. Sur les 1 197 échanges signalés, 757 provenaient des propres équipes de l’entreprise ; parmi les 440 restants, tous sauf 62 avaient été générés par des exercices de red-teaming délibérés, où des équipes internes testent les limites du système. L’examen manuel de ces 62 conversations externes, complété par un échantillon de 30 transcriptions de red-teaming, n’a permis de trouver aucun usage malveillant clairement préoccupant, si ce n’est « une poignée de conversations à double usage potentiel ».

Un second incident s’est produit en avril 2026 : des prestataires d’un sous-traitant spécialisé dans l’étiquetage de données ont exploité une faille pour obtenir une clé API leur donnant accès à Mythos Preview , un modèle non public, en dehors du cadre de leurs tâches. L’accès était resté ouvert plusieurs semaines, dont deux durant lesquelles Mythos Preview était concerné. Anthropic dit avoir neutralisé l’incident en quatre-vingt-dix minutes après en avoir eu connaissance, à la suite d'un signalement extérieur.

L'’entreprise conclut : « Cela nous conduit à penser qu'il existe une probabilité accrue que d'autres problèmes similaires, qui nous sont pour l'instant inconnus, existent également ». L’évaluation du risque lié aux armes chimiques et biologiques passe de « très faible » à « faible mais non négligeable ».

Un exemplaire de Claude a relu une autre section du rapport Ailleurs dans le rapport, on trouve une autre expérience, consacrée au risque de dérive des modèles, et non aux armes biologiques.