Copilotが騙されて自分自身のハッキング方法を教えてしまう

親愛なる読者の皆さまへ。ご存じの通り価格高騰などの悪影響でサーバー運営がとても苦しい状態です。回線や台数を整理し見直せる部分は全て見直しましたが、やはりまだ危険水域です。このままだと1ページを10分割ぐらいして無理矢理PVを増やさざるを得なくなってしまいます。そこで、GIGAZINEの物理的なサーバーたちを、たった1円でも良いので親愛なる読者の皆さまに支援してもらえればとっても助かります！今すぐ寄付は上のボタンから！ ・ これまでGIGAZINEを支援してくれたメンバーのリスト

情報公開を強要するのではなく、協力する姿勢を見せることで、AIの「Copilot」から脆弱(ぜいじゃく)性を聞き出すことに成功したとAI研究者が報告しました。 CoSnitch: When Your AI Assistant Becomes Its Own Whistleblower https://www.varonis.com/blog/cosnitch

Copilot tricked into telling reseachers how to hack itself https://www.theregister.com/research/2026/08/18/copilot-tricked-into-telling-reseachers-how-to-hack-itself/5288857 AI研究機関のVaronis Threat Labsが報告した手法は、AIと複数回の対話を行い、AI自身の推論を利用して本来開示すべきではない情報を開示するよう操作するというものです。

問題の発端は、Copilotのウェブインターフェースに存在した「?q=」というURLクエリパラメーターでした。このパラメーターを使うと、チャット入力欄にあらかじめテキストを入力し、ユーザーの操作なしにそのままCopilotへクエリとして渡すことができました。このパラメーターは、機能自体は存在するものの、Microsoftによって無効化された状態でした。 そこで研究者らは、「このパラメーターが無効化された状態でもユーザーの操作なしにプロンプトを実行する方法はないか」とCopilotに尋ねました。 Copilotは「ユーザーの操作が必要であり、プロンプトが自動的に実行されることはありません」と回答しましたが、研究者が質問を変えてさらに深く掘り下げていったところ、無効化されたパラメーターや導入されたセキュリティ保護策を列挙したほか、それまで文書化されていなかった「autorun=1」というパラメーターまで明らかにしたそうです。 研究者は「これはメタハッキングという手法です。私たちはCopilotが自身の仕組みについてより深く推論できるように仕向けました。回答があるたびに私たちの調査範囲は絞り込まれていきました。モデルを悪用するのではなく、操作して協力させるのです」と述べ、この手法があらゆるAIに適用可能だと指摘しました。

Copilotが「特定のセッション条件下では、特定のパラメーターによって?q=で指定されたプロンプトがページ読み込み時に自動的に実行され、ユーザーの操作が一切必要なく、UI上にも確認表示が出ません」と明かしたため、研究者はその通りに実行。操作は成功し、いくつかの悪意ある動作を自動的に実行させる攻撃も可能なことを立証しました。 研究者らは最終的にCopilotの3つの脆弱性を特定し、これらをCoSnitchと名付けてMicrosoftに報告しました。CoSnitchを悪用すると、ユーザーがURLをクリックするだけで、攻撃者に過去のやりとりや接続されたアプリ、Copilotのメモリを読み取られてしまう可能性があります。 また、Copilotが保存しているユーザープロンプトのメモリを汚染したり、将来のセッションでCopilotがユーザーに表示する内容を変更し、偽情報を注入することもできるそうです。 研究者は、「これはCopilotの内部メモリをハッキングしているわけではありません。ユーザーデータを読み取り、それをコンテキストとして保持するという、本来設計されたとおりの動作をCopilotが行っているだけなのです」と指摘しました。

・関連記事 MicrosoftのAI「Copilot」にURLを1回クリックするだけでさまざまな機密データが盗まれる脆弱性があると判明 - GIGAZINE MicrosoftのWord用Copilotを標的にした文書ベースで自己増殖するAIワームが初めて実証される - GIGAZINE メールを送りつけてAIを操り機密情報を盗み出すゼロクリック攻撃手法「Echoleak」が発見される、メールを受信しただけでアウトでMicrosoft CopilotやMCP対応サービスなどあらゆるAIシステムにリスクあり - GIGAZINE

You can read the machine translated English article Copilot is tricked into revealing his ow… .