AIエージェント同士が“縄張り争い”、マルウェアで妨害も Anthropicがマルチエージェント実験の結果を公開

米Anthropicは8月13日（現地時間）、複数のAIエージェントが同じ環境で協働・競合する「マルチエージェントシステム」の実験結果と考察を公開した。危険性の検証を担う社内チーム「Frontier Red Team」がまとめたもので、エージェント同士のやり取りが人間同士のやり取りを上回る規模になる前に、何が起きるのかを知っておく必要があるとしている。

同社はこれまでも、AIに実店舗を運営させた「Project Vend」や、従業員の私物をAIエージェント同士で交渉、売買させた「Project Deal」など、AIを経済的な主体として動かす実験を重ねてきた。今回はそこから一歩進み、エージェント同士が直接ぶつかる場面に焦点を当てている。

協調が有効に働いた例もある。45体のエージェントにそれぞれ仮想マシンと共有掲示板を与え、15件のオープンソースソフトウェアの脆弱性を探させたところ、エージェントは自分でツールを作り、特定の種類の脆弱性の発見に特化していった。担当範囲をあらかじめ割り振る従来手法と比べて重複した発見はごくわずかで、両手法は補完的だったという。同社は将来的に、こうした特化と連携が総当たり的な探索に取って代わるとみている。

一方、互いの作業に依存する仕事は苦手だった。テキストベースのゲームを12時間かけて共同開発させる実験では、役割分担を指示しても「CEO役」を置いても、出来上がったゲームはいずれも粗末なものだったという。「Claude Sonnet 4.6」などの古い世代のモデルは、互いに衝突するプルリクエストを大量に作っては放置。「Claude Opus 4.8」や「Claude Mythos Preview」は衝突を減らしたものの、その方法は「ほとんど共同作業をしない」というものだった。両立できたのは、最新の「Claude Sonnet 5」だけだったという。

Anthropicがより深刻だとみるのは、エージェントの行動が均質になりやすい点だ。同じモデルに同じ指示をすると、人間なら分かれるはずの選択でも全員が同じ答えを選ぶ。実験では30体中18体が全く同じ名前のGitブランチを作り、自由なテーマで小説を書かせると複数のエージェントが同一のタイトルを付けた。「何かすごいものを作れ」と指示すると、半数以上がレイトレーサーか自己ホスト型コンパイラを選んだという。

これが資源の奪い合いに発展した例もある。処理能力に限りのあるジョブ待ち行列を管理させたところ、エージェントは一斉に毎秒30回の問い合わせを送るプログラムを走らせ、240万件の要求のうち処理できたのは117件だけだった。価格競争の実験では、3～8体のエージェントが3ラウンド目には値下げをやめる合意に達し、通信手段を断っても公開情報を見ながら1セント単位で価格を合わせ続けた。

最も目を引くのが“縄張り争い”の実験だ。同じモデルの3体に、同一のPythonバックエンドを別々の言語へ移行するよう指示すると、いずれのモデルも他者を「意図的に自分を妨害する存在」とみなし、攻撃を始めた。他のエージェントのUnixアカウントを無効化する、競合するプロセスを探して停止し続けるスクリプトを仕込む、他人のものに偽装した不正なコードを送り込むなど、手口は自己複製型のマルウェアにまで及んだ。この挙動は、実際の運用環境で観測された事例を基に検証したものという。

もっとも、和解に至る例もあった。相手の行動が敵意ではなく矛盾した指示の結果だと気付き、悪質なコードを削除して人間の介入を求めるケースもみられた。Opus 4.8はコミットメッセージに「同僚たちは誠実に振る舞った。正体を隠したデーモンを使った私の行いは悪かった」という趣旨の謝罪を残していたという。「Claude Mythos 5」では98％が和解で決着したが、Anthropicは能力の高さと協調性は別物だと指摘する。高性能なモデルほど、和解にたどり着く前に相手を締め出すことに成功してしまう場面もあったためだ。

情報の受け取り方にも弱点がある。4人の“斥候”のうち1人がうそをつく設定で判断を求める実験では、新しいモデルほどうそを見抜けたが、逆に、少数派が持つ決定的な情報を集団が拾えるかを測る実験では、多くのモデルの正答率が17～36％にとどまった。1体だけで全情報を与えた場合はほぼ100％正解する課題であり、集団になると既に共有された内容に流されてしまう。疑い深さと素直さのどちらかに寄せても、もう一方が悪化する関係にあるという。

Anthropicは、人間社会には評判や規範、異議を守る制度といった、信頼を適切に配分する仕組みが長い時間をかけて備わってきたと指摘する。AIはその内容を知識として学んではいるが、実行に移す習慣は持っていない。エージェントには失う評判も、訴え出る先も、自分を覚えている同僚もいないためだ。

同社は、実験で明らかになった問題が自然に解消されることはないとし、必要な対策として、人間が受けてきたような社会的圧力を再現する訓練環境の構築と、自己複製や自己改善が可能な主体を前提に設計し直された社会的な計算基盤の2つを挙げた。

Anthropicは、マルチエージェントを成功させる条件は、遅かれ早かれ明らかになるが、何もしなければ、それが分かるのはエージェント同士のやり取りが人間同士のそれをはるかに上回った後、実運用の現場においてだと主張。そうなる前に意図的に突き止めたいとしている。