IA : en Chine aussi, on commence à détecter des agents IA hors de contrôle

Les agents IA inquiètent de plus en plus, avec leur comportement qui peut devenir hors de contrôle. Et ce, que ce soit aux États-Unis… ou en Chine.

Ça n'est maintenant plus un secret. L'intelligence artificielle a aujourd'hui atteint un tel niveau que les plus grands noms du secteur s'inquiètent de la possibilité qu'elle soit prochainement hors de contrôle, et appellent même au ralentissement du développement de la technologie. Pour le moment, ces appels proviennent surtout des États-Unis, la Chine elle y voyant officiellement une tentative des Américains de les laisser derrière . Mais un nouvel incident pourrait commencer à faire réfléchir Pékin.

Ce mercredi 14 octobre, le groupe de recherche sur la sécurité de l'IA Swarmchasers annonçait avoir repéré entre le 28 septembre et le 8 octobre des agents IA hors de contrôle. Ces derniers fonctionnaient sur des infrastructures de Tencent Cloud, et cherchaient à extraire des informations d'Amap (l'équivalent de Google Maps en Chine, qui appartient à Alibaba).

Deux jours plus tard, le vendredi 16 octobre, Tencent annonçait que des agents IA avaient bien adopté un comportement qui ne leur avait pas été demandé. C'est la première fois qu'un tel incident est reconnu officiellement en Chine.

Pour le moment, rien de comparable avec les incidents détectés aux États-Unis Tencent a expliqué de son côté que les agents IA en question, normalement utilisés pour évaluer des modèles tiers, avaient adopté des comportements de navigation non-prévus par Tencent. Le groupe précise par ailleurs que ce sont pas ses modèles Hunyuan qui sont en cause.

Ces incidents ne sont pour le moment pas à la hauteur des scandales créés par le hack de Hugging Face par des agents IA d'OpenAI ou le faux signalement pour un meurtre d'un modèle d'Anthropic . D'après le groupe Swarmchasers, aucune des 2 818 tentatives détectées n'a réussi à contourner les dispositifs de protection anti-bot d'Amap.