Geminiが動画を自律的に分析する「Agentic Video Understanding」登場、文字起こしや再確認を繰り返して長時間動画を詳しく分析しつつ安価に回答を生成

親愛なる読者の皆さまへ。ご存じの通り価格高騰などの悪影響でサーバー運営がとても苦しい状態です。回線や台数を整理し見直せる部分は全て見直しましたが、やはりまだ危険水域です。このままだと1ページを10分割ぐらいして無理矢理PVを増やさざるを得なくなってしまいます。そこで、GIGAZINEの物理的なサーバーたちを、たった1円でも良いので親愛なる読者の皆さまに支援してもらえればとっても助かります！今すぐ寄付は上のボタンから！ ・ これまでGIGAZINEを支援してくれたメンバーのリスト

Google DeepMindが2026年9月1日、Geminiの動画分析を自律的に進める新機能「Agentic Video Understanding」を発表しました。Geminiが質問内容に応じて動画内の必要な場面を探し、映像を見直したり音声の文字起こしを確認したりしながら回答を組み立てる仕組みで、Gemini 3.7 Flash、Gemini 3.6 Flash、Gemini 3.5 Flash-Liteで利用できます。 Introducing agentic video understanding with Gemini https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-agentic-video-in-gemini/

Can Gemini count the number of claps? 👏 Accurately counting rapid movements is a notoriously tricky task for AI. Because static processing ingests video at a fixed 1 FPS by default, split-second movements like a clap easily get missed entirely or get confused with a snap or… pic.twitter.com/qbv5o3wR7X

Geminiには以前から動画を入力して内容を要約したり、動画について質問したりする機能が搭載されています。従来の標準的な動画処理では、動画から1秒につき1フレームを取り出し、映像フレームや音声をまとめてGeminiに読み込ませる「静的処理」が使われていました。短い動画を調べる用途では扱いやすい一方、数十分から数時間に及ぶ動画では大量のトークンを消費しやすく、かといってフレームレートを下げるなどして入力する情報量を減らすと一瞬しか映らない重要な情報を取りこぼす可能性があります。 Agentic Video Understandingは既存の動画理解機能を拡張し、Gemini自身が「動画のどこを確認する必要があるのか」を判断できるようにした処理モードです。Geminiは質問を踏まえて必要な区間を探し、映像のフレーム、音声、文字起こしから必要な情報を取得します。さらに詳しい確認が必要になれば、対象区間のフレームレートや解像度を調整して読み直すことも可能。最初から最後まで同じ密度で動画を読み込むのではなく、答えに必要な部分へ処理を集中させるというわけです。

必要な部分だけを詳しく確認できるため、一瞬の変化を探すような用途にも活用できます。Googleは1秒未満の短時間で起きる状態変化や動画編集のカット位置の特定、数時間の映像から特定の出来事を探す検索、異常が見つかった区間だけフレームレートを上げて調べる異常検知、動作の回数や物体の個数を数える用途などを挙げています。速い動きを数える場合には必要に応じてフレームレートを変更して映像を再確認するため、1FPSの静的処理では捉えにくい動きも詳しく調べられるとのこと。 以下の画像はGemini 3.7 Flashで従来の静的処理とAgentic Video Understandingを使用した場合について、3種類の動画理解ベンチマークでトークン消費量と精度を比較したもの。GoogleによるとAgentic Video Understandingによってトークン消費量を最大88％削減し、精度を最大約7％向上できたとのこと。特に10分程度の解説動画や90分の講義、数時間に及ぶ録画など比較的長い動画で効率改善が大きいとされています。

また、以下の画像は長時間動画の理解能力を測る「1H-VideoQA」で1回の問い合わせ当たりのコストと精度を比較したグラフ。右上に位置するほど低コストかつ高精度であることを示しており、GoogleはAgentic Video Understandingを有効にしたGemini 3.7 Flashが検証したモデルの中で精度とコストの「パレート最前線」に位置すると説明しています。GoogleによるとAgentic Video Understandingでは分析コストを最大66％削減できるとのこと。

Agentic Video Understandingを利用するにはGemini APIで動画の処理方法を「agentic」に指定すればOK。記事作成時点ではGoogle AI StudioおよびGemini Enterprise Agent Platformで利用でき、アップロードした動画に加えて公開YouTube動画の分析にも対応しています。Agentic Video Understanding自体に追加料金は設定されておらず、通常のGemini APIのトークン料金が適用されます。なお、短い動画で応答速度を重視する場合などには従来の静的処理も用意されており、Googleの開発者向け資料では5分未満の短い動画などで静的処理が選択肢になると案内されています。 さらにGoogleはAgentic Video Understandingを開発者向けAPIだけにとどめず、GeminiアプリのFlashおよびFlash-Liteにも近日中に展開する予定です。また、数カ月以内にはYouTubeの動画視聴ページで質問できる「Ask YouTube」にも導入して映像の内容を踏まえた回答の品質向上に利用される予定とのことです。

・関連記事 AIはフェイクコンテンツを見分けられるのか？12種類以上のAIをテストした結果が公開される - GIGAZINE Googleが動画生成AI「Gemini Omni 1.1 Flash」をリリース、「最大4Kアップスケール」「動画の続きを生成」「低解像度で高速プレビュー」など - GIGAZINE 動画が本物かAI生成かを見分けるテスト、専門家によるAI生成動画を見分けるためのアドバイスとは？ - GIGAZINE NVIDIAがAI動画を最大92％の精度で識別可能なツール「Synthetic Video Detector」を発表 - GIGAZINE TikTok動画の59％、YouTube動画の21％はAIによる低品質動画 - GIGAZINE

You can read the machine translated English article Gemini introduces 'Agentic Video Underst… .