Ils sont au coeur des accusations autour du roman "C'était ça ou mourir": comment fonctionnent les détecteurs de textes générés par intelligence artificielle et sont-ils vraiment fiables?

Les sites prétendant pouvoir détecter les textes générés par IA sont nombreux, mais ils sont loin d'être tous fiables. Le risque du faux positif est réel, mais diffère selon l'outil. Avec la polémique entourant le livre d'Orélien Thélyson , C'était ça ou mourir , les détecteurs de textes générés par intelligence artificielle ont soudainement connu un regain d'intérêt. Ils sont très nombreux, certains sont "freemium" - une version gratuite est accessible, mais elle est limitée - et beaucoup multiplient les promesses sans pouvoir prouver leur bien-fondé.

Mais contrairement à ce que l'on pourrait croire, leur fiabilité n'est pas proche des 100%. Cela peut provenir de l'outil en lui-même, mais aussi du texte où du modèle d'IA utilisé à la base, voire aussi du style d'écriture.

Un détecteur IA vient analysé mathématiquement des schémas au sein d'un texte. Il mesure la perplexité, par exemple en repérant une séquence de mots prévisible, et dont les IA raffolent, car elles ont été entraînées à générer des mots plus simples que l'être humain qui va vouloir davantage de variété.

En outre, ces outils vont aussi mesurer la variation entre la longueur et la complexité d'une phrase. Autrement dit, lorsqu'une IA va avoir tendance à écrire de la même manière sans jamais dévier de sa trajectoire, l'humain va travailler en rafale.

Le vocabulaire utilisé, tout comme la grammaire, peuvent aussi être de bons indicateurs, et de plus en plus de détecteurs peuvent également compter sur les identifiants, invisibles à l'œil nu, désormais apposés dans les textes générés sur Gemini et Claude.

Si les détecteurs s'améliorent de jour en jour, ils ne font pas la course en tête face aux modèles d'IA qui sortent régulièrement et viennent parfois profondément modifier la génération de textes. Autrement dit, non, il ne faut pas prendre pour argent comptant un détecteur signant qu'un texte a été généré par IA.

C'est d'autant plus difficile que ceux ayant recours à l'intelligence artificielle ne prennent généralement pas un texte donné clés en main. Ils vont plutôt chercher à améliorer un écrit déjà disponible. C'est là que les détecteurs sont le moins efficaces, et cela vaut aussi pour n'importe quel texte au vocabulaire et à la grammaire simples.

Comme l'explique une étude parue chez Proton , "collez le résultat brut ou non modifié d'une IA dans n'importe quel détecteur d'IA et celui-ci le détectera", mais lorsque le résultat initial est modifié, même légèrement, le détecteur devient beaucoup moins fiable.

Dans cette même étude, Proton fait état d'un problème réel, "le fait que les humains écrivent souvent naturellement comme une IA", en particulier quand ce n'est pas leur langue naturelle: "Il est également difficile pour les détecteurs de repérer les moments où les humains perturbent délibérément les schémas statistiques qu'ils recherchent."

Et avec l'amélioration régulière des modèles d'IA, l'écriture humaine, même la plus complexe, est désormais rendue possible.

Pour vérifier la fiabilité de certains des détecteurs d'IA les plus populaires, nous avons réalisé le test en leur soumettant le contenu de cette actualité (qui n'a pas été générée par IA).