各種AIのiPhoneでの動作性能を測定した結果がArtificial Analysisによって公開される、コンテキスト長や応答時間を制限して実環境に近い性能を測定

親愛なる読者の皆さまへ。ご存じの通り価格高騰などの悪影響でサーバー運営がとても苦しい状態です。回線や台数を整理し見直せる部分は全て見直しましたが、やはりまだ危険水域です。このままだと1ページを10分割ぐらいして無理矢理PVを増やさざるを得なくなってしまいます。そこで、GIGAZINEの物理的なサーバーたちを、たった1円でも良いので親愛なる読者の皆さまに支援してもらえればとっても助かります！今すぐ寄付は上のボタンから！ ・ これまでGIGAZINEを支援してくれたメンバーのリスト

ローカルで実行可能なAIモデルの中にはスマートフォンでの動作も可能な小型モデルも存在します。新たに、AIの性能分析を行っているArtificial Analysisが「iPhone 17 Proでどのように動作するか」に着目したベンチマーク結果を公開しました。 Intelligence at pocket scale: Benchmarking small models and mobile phones | Artificial Analysis https://artificialanalysis.ai/articles/mobile-phone-intelligence-inference Introducing Pipette: A benchmarking suite for on-device intelligence — Blog — Liquid AI https://www.liquid.ai/blog/pipette-on-device-ai-benchmarking-by-liquid-ai ローカルで実行可能なオープンモデルの中には、データセンター級の高性能ハードウェアが必要な超大型モデルもあれば、スマートフォンで動作する小型モデルもあります。しかし、多くのベンチマークテストは超大型モデルの性能評価に最適化しており、小型モデルではテストを完了できずにスコア「0」とされてしまうことがあります。また、スマートフォンで実行可能な推論スタックはデータセンター向けのものと比べて洗練されておらず、超大型モデルと小型モデルを同じインフラやベンチマークテストで比較すると実態と異なる結果が現れてしまいます。

そこで、Artificial AnalysisはAI開発企業のLiquid AIと協力して「小型モデルをスマートフォンで実行した際の性能を測定するシステム」を構築しました。複数のテストのうち、インテリジェンス性能テストに関するシステムはArtificial Analysisが開発し、推論性能テストに関するシステムはLiquid AIが開発したとのこと。採用されたベンチマークテストは「 BFCL 」「 IFBench 」「 AA-Omniscience 」「 GPQA Diamond 」「 MATH-500 」の5種類です。 Artificial Analysisは複数のAIモデルをiPhone 17 Proで実行して結果をまとめています。テスト対象のモデルは「Gemma 4 E2B」や「LFM2-2.6B-Exp」といった「4bitに量子化した際に8GB以内のサイズに収まるAIモデル」に限られています。

コンテキスト長を16Kトークンに制限した際のベンチマークスコアの平均値が以下。最高スコアを獲得したのは「Nanbeige4.2-3B」と「LFM2.5-2.6B」でした。

応答時間を最長1分までに制限した際の平均スコアは以下の通り。「LFM2.5-8B-A1B」がトップで、その後に「LFM2-2.6B-Exp」「Gemma 4 E4B(Non-reasoning)」「Granite 4.1 8B」と続きます。

以下のグラフは横軸が「256トークンを出力するのにかかった秒数」、縦軸が「コンテキスト長を16Kトークンに制限した際のベンチマークスコアの平均値」を示しています。「Nanbeige4.2-3B」はベンチマークスコアは「LFM2.5-2.6B」と同等でしたが、応答時間が長いことが分かります。

出力トークン数を横軸とすると、「Qwen3.5 9B(Reasoning)」と「Qwen3.5 4B(Reasoning)」のトークン効率が低めであることが分かります。

Artificial Analysisは今後のアップデート予定として「新モデルの随時追加」や「単一の量子化精度ではなく、メモリ使用量に基づいたモデル比較」を挙げています。 なお、Liquid AIは性能測定に用いたシステムを「Pipette」と名付けており、ソースコードをGitHubで 公開 しています。また、Pipetteによるベンチマークテストを実行できるiOSアプリとAndroidアプリも公開しています。 Pipette by Liquidアプリ - App Store https://apps.apple.com/jp/app/pipette-by-liquid/id6772314671 Pipette - Google Play のアプリ https://play.google.com/store/apps/details?id=ai.liquid.pipette

・関連記事 スマホで動く小型AIモデル「LFM2.5」に省メモリ化を施しつつ性能低下を抑えたQAD版が登場 - GIGAZINE iPhoneで動作しBonsai 27Bと同等性能で13倍高速なAI「Maple-Preview」が登場、ローカルAIがまた1歩前進 - GIGAZINE iPhoneでローカル実行可能な270億パラメータのAIモデル「Bonsai 27B」が登場、Qwen3.6-27Bをメモリ使用量3.9GBまで小型化してスマホ単体で実用的な速度で動作 - GIGAZINE GoogleがスマホやノートPCでAIをローカル実行するための省メモリ化技術「QAT」をGemma 4に導入、Gemma 4 E2Bがわずか0.84GBのメモリで動作 - GIGAZINE iPhoneでローカル動作する画像生成AI「Bonsai Image 4B」が登場したので使ってみた、FLUX.2 Klein 4Bを1bit版に魔改造してメモリ使用量を8.3分の1に削減 - GIGAZINE