"Calife Carotte": inoffensives au premier abord, les vidéos de fruits et légumes générées par IA sur Tiktok contribuent à banaliser la violence et la cruauté, avec des risques de radicalisation

Si vous utilisez Tiktok, vous avez sûrement vu ces vidéos de fruits et légumes à forme humaine générées par IA au cours des derniers mois. Romance, trahison, conflits à la maison... Ces contenus semblent inoffensifs, drôles ou absurdes de premier abord, permettant de divertir les utilisateurs, mais en réalité, ils contribuent à banaliser des formes exagérées de violence émotionnelle ou d'agression.

C'est ce qui inquiète des chercheurs du Global Network on Extremism and Technology (GNET). Mais ce n'est pas leur seule source de préoccupation. Dans un rapport publié le 10 août, ils alertent sur l'utilisation de l'IA pour créer des contenus particulièrement violents.

Les chercheurs ont en effet identifié un sous-genre de plus en plus violent sur Tiktok, qu'ils appellent le "gore (violence graphique, NDLR) incarné par les fruits et légumes générés par IA". Dans ces vidéos, les fruits et légumes subissent des mutilations extrêmes, de la torture et de la violence de manière hyperréaliste.

La plupart de ces vidéos montrent des fruits et légumes anthropomorphes utiliser des pistolets, des fusils, des haches et d'autres armes pour tuer leurs ennemis, déchiquetant leurs corps jusqu'à en arracher leurs organes. Et le problème, c'est que les créateurs de ces contenus utilisent des couleurs vives et des personnages similaires à ceux de films d'animation de type Pixar afin d'atténuer la violence, l'humiliation, l'horreur corporelle et la cruauté.

"Il en résulte un mélange d'esthétique rassurante et de malaise émotionnel", ont déploré les chercheurs. Cela est d'autant plus problématique que ces contenus sont souvent regardés par des jeunes sur Tiktok. Cela permet aussi aux créateurs de ces contenus de contourner les règles communautaires du réseau social chinois, qui interdisent les contenus encourageant ou glorifiant la violence.

Ces vidéos sont susceptibles de rendre la violence amusante voire excitante à imiter, mais ce ne sont pas les pires. Des individus se servent en effet de l'IA pour générer des vidéos similaires à celles de groupes terroristes ou extrémistes, qui sont susceptibles d'inciter les utilisateurs y étant exposés à rejoindre ces derniers. Certaines montrent par exemple des fruits ou légumes utiliser les méthodes employées par les cartels pour éliminer leurs rivaux, à l'image d'une carotte tuant une pomme de terre avec une scie ou à coups de marteau.

D'autres reprennent eux des éléments de vidéos de groupes terroristes tels que l'État islamique. Un "Calife Carotte" affirme par exemple à son armée que "l'État Carotte renaîtra", en référence au slogan "L'État islamique renaîtra" dans l'une d'elles.

En plus de ces contenus, les créateurs utilisent également les commentaires pour faire la promotion de groupes extrémistes, utiisant entre autres des concepts de l'écosystème en ligne de l'extrême droite comme "SUPRÉMATIE DE LA POMME DE TERRE" en référence à l'idéologie suprémaciste blanche.

Avec ce type de vidéos, le risque est double. Elles peuvent non seulement choquer et perturber les jeunes utilisateurs, mais aussi les pousser à se radicaliser, ont mis en garde les chercheurs.