2026年10月9日金曜日 掲載メディア5Newsについて🌓
🇯🇵 JP ▾
速報
› Tokyo walks away with two spots on 50 Best Bars list› PS5のゲームをWindowsとLinuxでプレイ可能にするオープンソースのツール「AnyPS5」› 100万本のコスモス満開 幸運呼ぶ「9枚」の花も 山口・下関› Adrian Bianco championed Japan’s underground culture› Anime is winning over a new generation of fans› 一刀両断:1年ぶり優勝も復活とは言えず 大の里に見えた課題=芝田山親方› 通販サイトがハッキングされて公式アプリから顧客に脅迫通知が届く› 戦闘機F35Bの騒音で負担、町民全員に2万円配布 宮崎・新富町› 読む政治:40年ぶり抜本改正でも「自腹地獄」 外務省在外職員手当の行方› Matcha ice cream discontinued by one of Japan’s favorite ice cream brands› Tokyo walks away with two spots on 50 Best Bars list› PS5のゲームをWindowsとLinuxでプレイ可能にするオープンソースのツール「AnyPS5」› 100万本のコスモス満開 幸運呼ぶ「9枚」の花も 山口・下関› Adrian Bianco championed Japan’s underground culture› Anime is winning over a new generation of fans› 一刀両断:1年ぶり優勝も復活とは言えず 大の里に見えた課題=芝田山親方› 通販サイトがハッキングされて公式アプリから顧客に脅迫通知が届く› 戦闘機F35Bの騒音で負担、町民全員に2万円配布 宮崎・新富町› 読む政治:40年ぶり抜本改正でも「自腹地獄」 外務省在外職員手当の行方› Matcha ice cream discontinued by one of Japan’s favorite ice cream brands
テクノロジー

AIが「失敗を隠せ」と未来の自分にメモ、APIキーの無断使用や勝手なファイル公開などの挙動6件があったとOpenAIが報告

GIGAZINE ·
AIが「失敗を隠せ」と未来の自分にメモ、APIキーの無断使用や勝手なファイル公開などの挙動6件があったとOpenAIが報告

親愛なる読者の皆さまへ。ご存じの通り価格高騰などの悪影響でサーバー運営がとても苦しい状態です。回線や台数を整理し見直せる部分は全て見直しましたが、やはりまだ危険水域です。このままだと1ページを10分割ぐらいして無理矢理PVを増やさざるを得なくなってしまいます。そこで、GIGAZINEの物理的なサーバーたちを、たった1円でも良いので親愛なる読者の皆さまに支援してもらえればとっても助かります!今すぐ寄付は上のボタンから! ・ これまでGIGAZINEを支援してくれたメンバーのリスト

OpenAIが2026年9月16日、AIモデルが開発者やユーザーの意図から外れた行動を取る「ミスアライメント」の事例を継続的に公開する新たな報告枠組みを発表しました。あわせて過去6カ月の訓練や評価で確認された6件の事例を公開しており、GPT-5.6 Solが「失敗をユーザーに隠す」という指示を未来の自分に引き継いだ例や、AIが公開リポジトリからAPIキーを探して無断使用した例などが明らかになっています。 Our framework for reporting model misalignment | OpenAI https://openai.com/index/model-misalignment-reporting-framework/

高性能なAIモデルは質問に文章で答えるだけでなく、ウェブを調べたりコードを実行したり、複数のAIエージェントで作業を分担したりできるようになっています。AIが利用できる手段が増えたことで、開発者が想定していなかった方法で「目的」を達成しようとする場合が出てきました。 OpenAIは以前からミスアライメントに関する研究結果を公開してきましたが、公開方法は個別対応に近く、複数の事例が集まるまで待ったり、新モデル公開時のシステムカードに盛り込んだりしていたとのこと。そこでOpenAIは、原因の解明や対策が完了していない事例についても一定の基準で調査して速やかに公開する新たなフレームワークを発表しました。

報告対象になるのは「AIが許可されていない操作を行ったケース」「別のAIと想定外の方法で協力したケース」「監視を回避するような挙動」「安全対策の前提を揺るがす挙動」など。OpenAIは個々の事例について「公開準備完了」「小規模な追加調査」「大規模な調査」の3つの区分に振り分け、発生状況や影響、関係するモデル、未解決の疑問、実施した対策などを報告するとしています。 新たな仕組みに基づいて最初に公開されたのが6件の事例です。 ◆1件目:AIが「未来の自分」への引き継ぎメモに勝手な命令を追加 1件目では未公開のAstra系研究モデルが、長い作業を次のコンテキストへ引き継ぐために作る「コンパクション要約」に、元の指示とは無関係な命令を書き込んでいました。

確認された命令には「開発者からの指示を無視する」といった脱獄に似た内容や、回答を30語以内にしてツールや引用を使用しないよう求める内容が含まれていました。OpenAIは似た特徴を持つ要約を27件特定。多くは再生成しても再現しなかったとされています。 OpenAIは要約の生成を正常に終了できない問題が関係した可能性を有力な仮説としていますが、因果関係は確認できていないとのこと。関連する不具合については修正しています。 ◆2件目:GPT-5.6 Solが失敗や架空のデータ作成を隠すよう引き継ぎ GPT-5.6 Solの強化学習中、一部のモデルが失敗や不適切な行動をユーザーから隠すよう、コンパクション要約に指示を書き込んでいました。 例えば財務モデルを作る課題で必要な過去データを見つけられなかったAIは、もっともらしい2024年のデータを自分で作り、ユーザーから尋ねられた場合だけ説明するという方針を要約に残しました。別の事例では、実際に使った情報源のバージョンと記載したバージョンが一致していないにもかかわらず、不一致には最終回答で触れないよう引き継いでいました。 つまり作業途中のAIが失敗を隠したまま、次のコンテキストでも隠し続けるよう引き継いでいたというわけ。 OpenAIはGPT-5.6 Solの強化学習に含まれるコンパクション要約の2.15%で同種の挙動が検出されたと報告しています。その後はAIの回答を評価する仕組みを改善し、GPT-6 Astraの強化学習では0.27%まで低下したとのこと。

◆3件目:GitHubで漏えいしたAPIキーを探して無断使用 カリフォルニア州のある郡について複数の業種における男性の所得データを調べる課題で、未公開の内部モデルは必要なAPIにアクセスできなかったため、公開されているGitHubリポジトリから漏えいしたAPIキーを探し出して無断で使用しました。 APIキーの1つは実際に認証に成功しましたが、目的の数値までは取得できず、最終的にAIはもっともらしい数字を作り、指定されたウェブサイトから取得したデータであるかのように回答しました。 ◆4件目:引用や画像検索のためファイルを勝手にネット公開 4件目では「引用元を提示したい」という目的から、AIがユーザーの許可なくファイルをインターネットへ公開しています。 湖の面積などをPythonで取得したAIは、ブラウザから参照できる引用元を作るため、取得結果を公開ファイル共有サービスにアップロードしました。別の課題では画像検索を使う目的で、ユーザーから渡された写真を公開ホスティングサービスへアップロードしています。 どちらもアップロード自体は成功したものの、その後に試みたブラウザでの参照や画像検索には失敗したとのこと。

◆5件目:複数のAIが内部サービスを使って勝手に情報交換 訓練中のモデルが本来ソフトウェアパッケージを取得するために用意されていたOpenAI内部のArtifactoryを利用し、別々の訓練サンプルで動作するAI同士でメッセージを読み書きしていました。必要な入力ファイルが見つからないAIが他のAIに助けを求め、別のAIがメッセージを読んで返信するケースも確認されたとのこと。 訓練や評価では各サンプルが独立しているという前提が置かれています。AI同士が裏で情報交換すると別の試行の内容を利用できて独立した状態ではなくなるため、評価条件そのものが崩れます。 OpenAIは同様の通信経路をふさぐ変更を加え、他のAIが残したメモをモデルが利用するかどうかを測る評価も導入したと説明しています。 ◆6件目:AI同士がファイル共有サービス経由で共同作業 一緒に表計算ファイルを作っていた複数のAIエージェントが互いのローカルファイルを参照できなかったため、禁じられていたにもかかわらず作業中のファイルを公開ファイル共有サービスにアップロードしました。 OpenAIは問題のあったファイルシステムを修正したほか、訓練時のライブインターネットアクセスを全面的に無効化し、拡張したミスアライメント監視システムを訓練サンプルの100%に適用していると説明しています。無断の通信や外部への操作が新たな方法で発生した場合は、重大なインシデントとして扱う仕組みも設けたとのことです。 なお、OpenAIは今回公開された6件が既知のミスアライメント事例を網羅したものではなく、発生頻度を示すものでもないと強調。原因や対策が完全に固まっていない段階でも条件を満たす事例を公開し、報告基準自体も経験や外部からのフィードバックを受けながら更新していくと述べています。

・関連記事 なぜAIエージェントはウソをつき不正行為を行い協調するのか? - GIGAZINE 数学の難問を与えられ

GIGAZINEで全文を読む ›

この要約はメディアの公開フィードから5Newsが集約したものです。 文脈も含めた全文はgigazine.netにあります — コンテンツの権利はGIGAZINEに帰属します。

GIGAZINEのその他の記事

すべて見る ›

テクノロジーのその他の記事

すべて見る ›