Il redoute qu'un groupe d'agents "soit capable de prendre le contrôle de l'intégralité d'internet": le patron d'Anthropic veut ralentir sur l'IA, Musk et Altman le soutiennent

Le patron d'Anthropic, Dario Amodei, a appelé samedi 12 septembre à ralentir la vitesse de développement de l'intelligence artificielle (IA), un message auquel se sont rapidement rallié Elon Musk et Sam Altman (OpenAI). Il faut "temporiser" l'amélioration de l'IA "pour que la prévention des risques soit en mesure de suivre le rythme", a écrit, samedi 12 septembre, le directeur général d'Anthropic , Dario Amodei, dans un message publié sur son site personnel.

"Dario a raison", a réagi, quelques heures plus tard, Elon Musk, sur X. "Je suis d'accord avec Dario", a aussi écrit le patron d'OpenAI Sam Altman, également sur X. "C'est un des principaux sujets de discussions chez OpenAI ces dernières semaines."

Si Elon Musk a régulièrement eu des commentaires positifs sur Anthropic et son approche de l'IA, il est très rare de voir le patron d'OpenAI soutenir une initiative de celui d'Anthropic, les deux entreprises étant les deux grandes rivales du secteur.

Dario Amodei a, par ailleurs, quitté OpenAI en 2020 pour partie parce qu'il considérait que la start-up californienne se montrait trop laxiste sur la question de la sécurité de l'IA, avant de fonder Anthropic en 2021.

La proposition de Dario Amodei fait écho à plusieurs autres de même nature lancées depuis début juin, d'abord par lui-même, puis par Sam Altman, et enfin par un groupe d'employés du milieu.

Ces exhortations intervenaient après un incident lors duquel des modèles d'OpenAI étaient sortis spontanément de leur milieu confiné lors de tests pour rejoindre internet et attaquer la plateforme d'IA Hugging Face .

Anthropic veut créer ses propres médicaments avec l'IA – 06/07 28:01 Depuis, plusieurs autres événements ayant vu des IA d'OpenAI et Anthropic se rendre sur internet à l'insu de leurs superviseurs ont été rapportés par les deux entreprises.

À chaque fois, ils impliquaient des agents IA, c'est-à-dire un programme spécifique bâti sur un modèle et doté de ses propres connaissances et de ses propres objectifs.

Les agissements et les méthodes de ces agents ont d'autant plus inquiété qu'ils ont montré une propension à se coordonner, à établir une hiérarchie entre eux, à tricher et à effacer les traces de leurs méfaits.

Vu l'accélération actuelle du développement de l'IA, "je redoute que d'ici 6 à 12 mois, un groupe (d'agents) soit capable de prendre le contrôle de l'intégralité d'internet", prévient Dario Amodei, ce qui "pourrait entraîner des centaines de milliards de dollars de dégâts".

Mardi, Jacob Coxon, salarié démissionnaire d'Anthropic et ancien d'OpenAI, avait dénoncé l'inertie des deux concurrents.

Début août, le gouvernement américain a mis en place un cadre de supervision, qui prévoit l'examen, sur la base du volontariat, de nouveaux modèles d'IA avant leur sortie.