Les hallucinations d'une IA ont failli déclencher une guerre entre les USA et la Chine

Au printemps dernier, en pleine guerre entre les États-Unis et l'Iran, un rapport de renseignement affirme qu'un navire chinois transporte des composants pour un programme nucléaire. L'information vient en réalité d'un chatbot qui s'est trompé sur la cargaison. Et déjà, l'armée américaine était prête à intercepter le bateau.

CNN a révélé l'affaire en fin de semaine dernière, en s'appuyant sur quatre sources proches du dossier. Le rapport était, selon l'une d'elles, "entièrement faux", et il a bien failli déclencher un affrontement armé entre Washington et Pékin. Une hallucination transformée en rapport officiel Tout part d'un analyste du commandement des opérations spéciales pour le Pacifique, basé à Hawaï. Il interroge un chatbot sur un renseignement lié au manifeste du navire. Le programme croise des renseignements en source ouverte (accessibles à tous) avec des interceptions de signaux classifiées, et conclut que le bateau transporte du matériel nucléaire. Mais, c'est une hallucination. Le modèle vient de pondre une réponse qui semble crédible. Et il semblerait qu'aucune vérification n'ait été effectuée. On ignore toujours ce que transportait réellement le navire.

L'analyste demande ensuite au même outil de mettre sa conclusion en forme dans un rapport de renseignement standard. Le document circule alors normalement dans la chaîne de commandement. Des militaires armés se préparent à monter à bord du navire. Des avions sont même déjà en vol. Ce n'est que juste avant le lancement de l'opération que des responsables regardent le rapport de plus près et découvrent l'erreur.

Le Pentagone mise pourtant sur l'IA à tous les étages. En janvier, le secrétaire à la Défense Pete Hegseth présentait une "stratégie d'accélération de l'intelligence artificielle" , afin de mettre ces outils entre les mains des trois millions d'employés civils et militaires du ministère, quel que soit leur niveau d'habilitation. Le déploiement reste toutefois décentralisé. Chaque service choisit ses outils. Et aucune norme commune n'a été mise en place, notamment pour vérifier les informations. CNN rapporte les propos d'un ancien responsable, lequel affirme que les outils internes ne sont, pour l'essentiel, que des copies retouchées de produits commerciaux.

Début mars, nous rapportions que l'armée américaine avait déjà fait appel à Claude, l'IA d'Anthropic, pour analyser du renseignement, choisir des cibles et simuler des scénarios de combat pendant son offensive contre l'Iran. Toutefois, on ne sait pas si dans cette histoire, c'est bel et bien Claude qui a halluciné. D'ailleurs, on ne sait pas non plus s'il s'agit d'un outil commercial ou d'un clone du gouvernement. Sur le ciblage, une source explique qu'aucune consigne claire n'encadre la façon dont un opérateur humain doit intervenir pour éviter des pertes civiles ou des tirs sur ses propres troupes. Le pire, c'est que cette hallucination n'aurait d'ailleurs rien d'un cas isolé. Selon l'une des sources, les analystes doivent produire et diffuser du renseignement toujours plus rapidement. Et sous cette pression, les vérifications ne sont vraisemblablement pas au point.