L’IA n’a pas besoin d’être "superintelligente" pour être dangereuse, par Olivier Sibony

Le vent de panique autour du "risque d’extinction" que l’IA ferait courir à l’espèce humaine ne retombe pas.

Des unes de journaux aux marchés financiers, en passant par Buckingham Palace , nul ne semble pouvoir y échapper.

Ce qui frappe dans ce discours n’est pas l’évidence de la menace, mais l’identité de ceux qui la brandissent.

Car l’alerte vient des "insiders" : des ingénieurs spécialistes de la sécurité de l’ IA , comme Jacob Coxon, dont la démission d’ Anthropic a été le déclencheur de la crise, et même les dirigeants des géants de l’IA eux-mêmes.

D’ordinaire, ce ne sont pas les opérateurs de centrales nucléaires qui nous parlent des dangers de l’atome, ni les traders qui préviennent du risque de crise financière.

Ce contre-emploi donne forcément à l’alerte une crédibilité inhabituelle – et force à s’interroger.

Quand Coxon explique que les développeurs d’IA "jouent avec nos vies" et "croient sérieusement qu’elle pourrait tous nous tuer avant la fin de la décennie", le danger dont il parle est celui d’une " superintelligence ", capable d’échapper à tout contrôle.

Pour comprendre cette inquiétude, il est utile de se pencher sur la mouvance "rationaliste", très influente dans la Silicon Valley.

Le "rationalisme" (rien à voir avec le sens commun de ce terme) est une sorte de croisement entre le club informatique pour "nerds" surdiplômés, la méthode de développement personnel pour apprendre à corriger ses biais cognitifs, et la secte apocalyptique.

Son leader informel est Eliezer Yudkowsky, dont les notes de blog , pieusement étudiées par ses disciples, ont été compilées en six volumes sous le titre Rationality: From A.I.

To Zombies .

Ce titre résume une thèse centrale des rationalistes : "Si une superintelligence artificielle venait à être mise au point (…), le scénario le plus probable serait l'extinction de l'humanité." Car cette nouvelle espèce nous traiterait comme nous avons traité le dodo ou les bovins.

Pour éviter l’anéantissement ou l’asservissement, l’avant-garde éclairée des rationalistes sonne donc depuis longtemps le tocsin : Yudkowsky suggérait en 2023 qu’il faudrait être prêt à employer l’arme atomique contre quiconque persisterait à vouloir développer une superintelligence artificielle.

Le scénario catastrophe pertinent Personne ne peut dire si ces inquiétudes sont fondées, et les experts sont loin d’être unanimes.