FastVLM：Appleが新しい高速視覚言語モデルを発表

CVPR 2025カンファレンスで、AppleはFastVLMという新しいオープンソースAIモデルを発表しました。画像と言語の両方を理解するように設計されており、iPhone、iPad、MacなどのAppleデバイス上で動作します。つまり、データをクラウドに送信することなく、スマートな結果をすばやく提供できます。

FastVLMが特に注目される理由は、その高速性と効率性です。AppleはFastViTHDという新しいビジョンエンコーダーを開発しました。これにより、モデルはメモリと電力の使用を抑えながら、高品質な画像を解釈できます。すべての処理がデバイス上でローカルに行われるため、ユーザーのプライバシーを保護しながら応答時間を短縮できます。

この記事では、FastVLMの仕組みや特徴、そしてAppleによるこのリリースが、デバイス上の日常的なAIアプリケーションにとって大きな前進となる可能性がある理由を解説します。

視覚言語モデル（VLMs）を理解する#

FastVLMの特徴を見ていく前に、まず名前に含まれる「VLM」が何を意味するのかを確認しましょう。これは、視覚コンテンツと言語を理解して結び付けるように設計された視覚言語モデルを指します。

VLMは視覚理解と言語を組み合わせ、写真の説明、スクリーンショットに関する質問への回答、文書からのテキスト抽出などのタスクを実行できます。視覚言語モデルは通常、2つの部分で構成されます。一方が画像を処理してデータに変換し、もう一方がそのデータを解釈して、読んだり聞いたりできる応答を生成します。

気付かないうちに、すでにこの種のAI技術を使っているかもしれません。レシートのスキャン、IDカードの読み取り、画像のキャプション生成、ロービジョンの人が画面を操作するための支援などを行うアプリでは、バックグラウンドで視覚言語モデルが動作していることがよくあります。

FastVLMとは何ですか？#

Appleは、ほかの視覚言語モデルと同じタスクを実行しながら、より高速で、プライバシー保護に優れ、自社デバイス上でのパフォーマンスを最適化したFastVLMを開発しました。画像の内容を理解してテキストで応答できますが、クラウドサーバーに依存する多くのモデルとは異なり、FastVLMはiPhone、iPad、Mac上だけで動作させることができます。

VLMは一般に、高解像度の画像を使うとより優れた性能を発揮します。たとえば下図のように、FastVLMが道路標識を「進入禁止」と正しく識別できたのは、高解像度版の画像を入力した場合だけでした。しかし、高解像度の入力は通常、モデルの処理速度を低下させます。この課題を解決するのがFastViTHDです。

図1. 低解像度画像と高解像度画像におけるFastVLMの性能。(出典)

Appleの新しいビジョンエンコーダーであるFastViTHDは、高品質な画像をより効率的に処理できるようFastVLMを支援し、メモリと電力の消費を抑えます。具体的には、FastViTHDは軽量なため、小型のデバイスでもスムーズに動作します。

また、FastVLMはFastVLMのGitHubリポジトリで公開されており、開発者はソースコードにアクセスして変更を加え、Appleのライセンス条項に従って独自のアプリで使用できます。

FastVLMとほかのVLMモデルの比較#

他の視覚言語モデルと比べると、FastVLMはスマートフォンやノートパソコンなどの日常的なデバイスで動作するよう最適化されています。性能テストでは、FastVLMはLLaVA-OneVision-0.5Bのようなモデルより最大85倍速く、最初の単語または出力を生成しました。

図2. FastVLMとほかのモデルの性能比較。(出典)

FastVLMが評価された標準ベンチマークの一部をご紹介します。

• DocVQA (文書に関する視覚的質問応答): この視覚的質問応答ベンチマークは、スキャンしたフォームやページなどの文書に含まれるテキスト情報を、モデルがどの程度読み取り、理解できるかを評価します。
• TextVQA（テキストベースの視覚的な質疑応答）：テキストを含む画像を解釈し、関連する質問に正確に答えるモデルの能力を評価します。
• GQA: このタスクでは、画像内の物体とシーンの関係を理解する必要があり、モデルの推論能力を評価します。
• MMMU（大規模な学際的マルチモーダル理解）：視覚情報とテキストの理解を組み合わせ、幅広い学術分野や形式にわたるモデルの性能を測定します。
• SEED-Bench: このベンチマークでは、複数の分野にわたる視覚理解と推論におけるモデルの汎用能力を評価します。

これらのベンチマーク全体で、FastVLMはより少ないリソースで競争力のある結果を達成しました。スマートフォン、タブレット、ノートパソコンなどの日常的なデバイスで、実用的なビジョンAIを利用できます。

FastVLMの効率的なビジョンエンコーダー：FastViTHD#

次に、FastVLMの画像処理性能で重要な役割を果たすビジョンエンコーダー、FastViTHDを詳しく見ていきましょう。

多くの視覚言語モデルは、画像をトークンと呼ばれる何千もの小さなパッチに分割します。トークンが増えるほど、画像を理解するためにモデルが必要とする時間と電力も増えます。そのため、特にスマートフォンやノートパソコンでは処理が遅くなることがあります。

図3. ビジョンエンコーダーによる画像の処理方法。(出典)

FastViTHDはトークンの数を減らしながら画像全体を理解することで、トークンを過剰に処理する際の速度低下を防ぎます。FastViTHDは、パターンや関係性のモデリングに適したTransformerと、視覚データを効率的に処理する畳み込みレイヤーという2つのアプローチを組み合わせています。その結果、より高速に動作し、メモリ使用量も少ないシステムを実現しています。

Appleによると、FastViTHDは高い精度を維持しながら、一部の従来型ビジョンエンコーダーより最大3.4倍小型です。処理を高速化するために重要度の低い画像パッチを削除するトークンプルーニングなどのモデル最適化手法に頼るのではなく、よりシンプルで合理化されたアーキテクチャによって効率性を実現しています。

FastVLMのモデルバリエーションとトレーニングパイプライン#

AppleはFastVLMを、0.5B、1.5B、7Bの3種類のパラメーターサイズで公開しています（「B」はbillionを表し、モデル内の学習可能な重みの数を示します）。各バージョンは、異なる種類のデバイスに適するように設計されています。小型モデルはスマートフォンやタブレットで動作し、大型の7Bモデルはデスクトップや、より負荷の高いタスクに適しています。

これにより、開発者は自分のアプリに最適なものを柔軟に選べます。同じ基盤となるモデルアーキテクチャを使いながら、モバイル向けの高速で軽量なものから、大規模システム向けのより複雑なものまで構築できます。

Appleは、視覚モデルと言語モデルを調整するフレームワークであるLLaVA‑1.5パイプラインを使用して、FastVLMの各モデルバリエーションをトレーニングしました。言語部分については、自然で一貫性のあるテキストを生成することで知られるQwenやVicunaなどの既存のオープンソースモデルを使ってFastVLMを評価しました。この構成により、FastVLMは単純な画像から複雑な画像まで処理し、読みやすく関連性の高い回答を生成できます。

FastVLMの重要性：Appleによる効率的なAIの実現#

FastVLMの効率的な画像処理がなぜ重要なのか、疑問に思うかもしれません。重要なのは、クラウドに依存せずにアプリをリアルタイムでスムーズに動作させられることです。FastVLMは最大1152×1152ピクセルの高解像度画像を処理しながら、デバイス上で直接動作できるほど高速かつ軽量です。

つまり、すべての処理をデバイス上で完結させながら、カメラが捉えたものの説明、撮影中のレシートのスキャン、画面上の変化への応答などをアプリで実現できます。教育、アクセシビリティ、生産性向上、写真撮影などの分野で特に役立ちます。

FastViTHDは大きな画像も効率的に処理できるため、デバイスの応答性を保ち、発熱を抑えるのに役立ちます。エントリーレベルのiPhoneで動作する最小モデルを含め、すべてのモデルサイズに対応しています。そのため、同じAI機能をスマートフォン、タブレット、Macで利用できます。

FastVLMの活用例#

FastVLMは、速度、効率性、デバイス上でのプライバシー保護といった主な利点により、幅広いアプリケーションを支えます。活用方法をいくつかご紹介します。

• 文書の読み取り：レシート、フォーム、IDカードをスキャンし、関連情報だけを抽出できます。画像内の特定の領域に焦点を当てられるため、高速で正確なテキスト抽出が必要なアプリに役立ちます。
• 画像のキャプション：写真を分析し、画像に何が写っているかを明確に説明できます。カメラアプリやフォトギャラリー、リアルタイムの視覚理解が役立つあらゆるツールの機能を支えます。
• アクセシビリティ支援：FastVLMは、視覚障害のあるユーザーやロービジョンのユーザーに画面上のコンテンツを説明し、ボタン、メニュー、レイアウト要素の操作を容易にします。
• デバイス上のAIアシスタント：FastVLMは、画面に表示されている内容をすばやく理解する必要があるAIアシスタントと効果的に連携できます。デバイス上で直接動作し、データのプライバシーを保護するため、テキストの読み取り、ボタンやアイコンの識別、クラウドに情報を送信せずにユーザーをリアルタイムで案内するといったタスクを支援できます。

図4. FastVLMはテキスト認識や視覚的な質疑応答に利用できます。(出典)

重要なポイント#

FastVLMは、速度、プライバシー、効率性を組み合わせ、デバイス上で動作する視覚言語AIをAppleデバイスにもたらします。軽量な設計とオープンソースでの公開により、モバイルアプリやデスクトップアプリでのリアルタイムな画像理解を実現します。

これにより、AIを日常的に使ううえでより実用的かつ利用しやすくなり、開発者が有用でプライバシーを重視したアプリケーションを構築するための確かな基盤が得られます。今後、視覚言語モデルはテクノロジーとの関わり方で重要な役割を担い、日常のさまざまな場面でAIをより迅速に応答し、状況を理解し、役立つものにしていくと考えられます。

AIについて詳しく知るには、GitHubリポジトリをご覧ください。活発なコミュニティに参加し、自動車業界のAIや製造業のビジョンAIなどの分野におけるイノベーションをご確認ください。今日からコンピュータービジョンを始めるには、ライセンスの選択肢をご覧ください。