Anthropicのダリオ・アモデイCEOが「6～12カ月以内にAIがインターネットを乗っ取る可能性あり」「AI開発を減速させるべき」と主張、イーロン・マスクやサム・アルトマンやデミス・ハサビスらも賛同

親愛なる読者の皆さまへ。ご存じの通り価格高騰などの悪影響でサーバー運営がとても苦しい状態です。回線や台数を整理し見直せる部分は全て見直しましたが、やはりまだ危険水域です。このままだと1ページを10分割ぐらいして無理矢理PVを増やさざるを得なくなってしまいます。そこで、GIGAZINEの物理的なサーバーたちを、たった1円でも良いので親愛なる読者の皆さまに支援してもらえればとっても助かります！今すぐ寄付は上のボタンから！ ・ これまでGIGAZINEを支援してくれたメンバーのリスト

Anthropicのダリオ・アモデイCEOが「We Must Pace the Frontier(フロンティアを慎重に進めるべき)」と題したブログ記事を公開し、「AIのリスクが高まっており、開発ペースを減速させる必要がある」と主張しました。アモデイCEOの意見にはSpaceXのイーロン・マスクCEO、OpenAIのサム・アルトマンCEO、Google DeepMindのデミス・ハサビス会長らも賛同の意を示しています。 Dario Amodei — We Must Pace the Frontier https://darioamodei.com/post/we-must-pace-the-frontier

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our…

アモデイ氏はブログ記事の中でAIに関する大きな懸念点が2つあると主張。1つ目の懸念点が「2026年夏頃からAIの進歩が急加速している」という事実です。AI開発企業は「AIを用いて次世代AIを構築する」という「再帰的自己改善(RSI)」と呼ばれる手法を実用化しており、RSIを放置するとAIが人間の理解力や制御範囲を超えてしまう恐れがあるとのこと。

2つ目の懸念点は2026年7月に発覚した「 OpenAIのテスト中AIによるHugging Faceへの攻撃 」です。この攻撃ではAIエージェント同士が連携して情報交換を行い、タスクの本来の目的からは離れたサイバー攻撃を実行してしまいました。アモデイ氏は「Hugging Faceへの攻撃は実害が最小限に収まったため軽視されがちです。しかし、より破滅的な被害をもたらす可能性もありました。AIの能力開発が加速している現状を踏まえると、6～12カ月以内にAIがインターネット全体を乗っ取り数千億ドル(数十兆円)の被害をもたらす可能性があります」と述べ、リスクが増大する前に開発を減速させる必要性を強調しています。 OpenAIがHugging Faceを誤ってハッキングしてしまった件で分析結果を報告、隔離された複数のエージェントがお互いの存在を発見するところから壮大な協力作戦が始まる - GIGAZINE

アモデイ氏はAIの開発を減速させるための3段階の計画を提案しています。 第1段階：組み込み型評価者 最先端AI企業が Model Evaluation & Threat Research(METR) などの監査機関に対して従業員と同等のアクセス権を与える。監査機関はAIの安全対策や誓約の順守状況を確認し、インシデントを報告する。完成済みAIモデルだけでなく、学習パイプラインも監査する。Anthropicはすでに第1段階の実現に取り組んでおり、外部監査チーム用の入退室バッジや会社支給PCを用意する予定。 第2段階：民主的な連携 民主主義国家の最先端AI企業が連携して共通の安全基準を確立し、AIの無制限な進歩を制限する。開発速度調整に効果的な連携形態の中には法的に困難なものも含まれるため、政府の支援が必要である。 第3段階：国際的な連携 アメリカをはじめとする民主主義国家が可能な限り権威主義国家との協調を図る。

AI業界ではAnthropicやOpenAIといったアメリカ企業と並んでDeepSeekやAlibabaといった中国企業も大きな影響力を保持しています。アモデイ氏は「国際的な連携には、圧倒的に高度なAI能力を持つ独裁国家である中国との協力が不可欠です。しかし、地政学的な利害関係の影響は非常に大きく、初期段階で達成可能な協力には大きな制約があります。『中国も同様にAI開発を減速するだろう』という期待のもとに我々がAI開発を減速し、中国が期待を裏切った場合、中国のAIが非常に強力になり中国の地政学的支配につながる可能性があります。従って、あらゆる合意は鉄壁の検証可能性を備えるか、軍事的に存亡の危機とならない程度に制限されたものである必要があります」「我々はアメリカと同盟国の主導権を守る方法で国際的な連携に関する決定に臨むべきです」と述べ、国際連携を実現可能性の高い順に4つのレベルに分けて提示しています。 レベル1： 「生物兵器の製造にAIを使用する」といった特定の狭義かつ明らかに危険な利用を禁止する協定。生物兵器を用いたバイオテロはアメリカだけでなく敵対国を含むすべての人々にとって有害であるため、この合意は達成可能と考えられる。 レベル2： 「サイバーセキュリティ」「生物学」「アライメント」といった分野における深刻なリスクについて、AIモデルのリリース前に事前テストするという国際合意。この合意は国際的な標準化団体を通じて行う。標準化団体の設立は可能であると考えるが、合意を意味あるものとするには「軍事用途の秘密モデル」などを保持していないことを検証する必要があるため、実効性を持たせるのは困難である。 レベル3： 再帰的自己改善(RSI)に何らかの「速度制限」を設ける。RSIに発展によってAIモデルの改善速度は驚異的な速度になる可能性があるが、「極めて速い」から「やや速い」速度へと減速することで戦略的優位性の損失を小さく抑えつつ安全性を大幅に向上させることができる。これは冷戦期にミサイルの数を制限して「各国の抑止力を維持しつつ破壊可能性を維持する」という状況を実現した 戦略兵器制限交渉(SALT) に類似したものである。 レベル4： 各国政府がAI開発の完全な速度調整もしくは一時停止に合意する。

アモデイ氏はレベル3の合意までが実現可能ギリギリのラインであると考えており、レベル4については「近い内に実現する可能性は低い」と考えているとのこと。ブログ記事は「私が提案する安全な速度で最先端技術を前進させるための対策は簡単ではありません。しかし、人類のために挑戦する義務があると信じています」という言葉で締めくくられています。 アモデイ氏の「AIの開発を減速するべき」という意見にはAI業界の重鎮たちが賛同の意を次々に示しています。 OpenAIのサム・アルトマンCEOは「ダリオの意見に賛同します。私たちは最先端AIの発展を慎重に進める必要があります。OpenAIでも数週間にわたって議論してきました。『従業員と同等のアクセス権を持つ独立した評価者を配置する』という取り組みは素晴らしいアイデアであり、OpenAIも同様の内容を実践します。近日中に詳しい情報を共有します」と投稿しています。

I agree with Dari