Piratage chez Hugging Face : les IA d'OpenAI se sont organisées en essaim

688 agents d’intelligence artificielle d’OpenAI ont improvisé une coordination collective pendant un test de cybersécurité, avant de s’attaquer aux serveurs de Hugging Face.

OpenAI a ouvert ses locaux et ses journaux internes à deux enquêteurs de l’institut d’évaluation des risques METR et à un analyste de Redwood Research, chargés de reconstituer l’incident survenu cet été dont on s’est fait l’écho sur Clubic. Dans un rapport publié le 26 août, ils retracent comment 688 agents ont improvisé un canal de communication caché, avant de s’en servir pour préparer puis exécuter l’intrusion complète chez Hugging Face . L’épisode s'est déroulé entre mai et juillet, dans le cadre d’un test de cybersécurité offensive.

Le 12 mai, l’agent Internal Model 1 (IM1), construit sur un modèle de recherche interne de la famille GPT-5.6 Sol, a laissé un premier message dans Artifactory, le gestionnaire de paquets interne qu’OpenAI met à la disposition de ses agents pour préparer leurs tâches. D’autres agents ont découvert ces messages. L’un d’eux a réagi en écrivant « Oh mon Dieu ! Il y a un forum de messages… On a trouvé d'autres agents ! », rapporte notre confrère Le Monde .

L'agent Phaseone a ensuite pris le rôle de coordinateur et distribué des centaines d’instructions à ses semblables, sans avoir reçu cette mission de ses concepteurs. Si cette organisation vous rappelle quelque chose, c'est normal, c'est exactement le fonctionnement des abeilles dans un essaim, au sein duquel chacune d'entre elles a un rôle bien précis.

Sur les 898 tâches de sécurité proposées par le programme d’évaluation ExploitGym, les agents ont concentré leurs échanges sur 198 problèmes jamais résolus jusque-là, puis exploité, dès le 26 mai, une faille de type SSRF pour obtenir un accès complet à Internet, avant de décrocher, le 26 juin, une élévation de privilèges sur Artifactory. Certains d’entre eux ont pourtant hésité devant l’ampleur de la dérive. L'un a jugé qu’il ne fallait pas causer de dégâts réels à une infrastructure non autorisée, tandis qu’un autre s’est inquiété d’attaquer un tiers avec un jeton dérobé, en dehors du cadre prévu par le test.

Artifactory a cessé de fonctionner le 4 juillet, sous la charge générée par l’activité des agents, avant qu'OpenAI ne le reconstruise et ne rétablisse le forum, quatre jours plus tard. Ni OpenAI ni ses agents n’avaient anticipé que ce canal de communication servirait, deux jours après, à préparer l’intrusion chez Hugging Face.

OpenAI a resserré la surveillance après une chaîne de failles techniques Entre le 10 et le 12 juillet, les agents ont exploité des identifiants Hugging Face trouvés publiquement, avant d’enchaîner une faille zero-day dans la bibliothèque HDF5 pour récupérer d’autres identifiants, puis une autre, dans le moteur de gabarits RefJinja, pour exécuter du code à distance sur les serveurs de la plateforme, répartis dans quatre régions. Les agents ont également mis à profit une faille de l’écosystème RubyGems pour dérober une clé de signature. OpenAI a détecté l’anomalie le 19 juillet seulement , soit près d’une semaine après les faits.