GoogleのPaliGemma 2：高度なVLMモデルの概要

2024年12月5日、Googleは視覚言語モデル（VLM）の最新バージョンであるPaliGemma 2を発表しました。PaliGemma 2は、キャプションの生成、視覚的な質問への回答、画像内の物体検出など、画像とテキストを組み合わせたタスクに対応するよう設計されています。

多言語キャプション生成や物体認識に優れた元のPaliGemmaを基盤として、PaliGemma 2にはいくつかの重要な改善が加えられています。モデルサイズの拡大、高解像度画像への対応、複雑な視覚タスクにおける性能向上などが含まれます。これらのアップグレードにより、幅広い用途でさらに柔軟かつ効果的に利用できます。

この記事では、PaliGemma 2の仕組みや主な機能、特に優れた性能を発揮する用途などを詳しく見ていきます。

Gemma 2からPaliGemma 2へ#

PaliGemma 2は、SigLIPビジョンエンコーダーとGemma 2言語モデルという2つの主要なテクノロジーを基盤としています。SigLIPエンコーダーは画像や動画などの視覚データを処理し、モデルが分析できる特徴に分解します。一方、Gemma 2はテキストを処理し、多言語の言語をモデルが理解・生成できるようにします。これらを組み合わせることで、視覚情報とテキスト情報を解釈し、関連付けるよう設計されたVLMが構成されます。

PaliGemma 2が大きく前進した点は、拡張性と汎用性です。初代とは異なり、PaliGemma 2には30億（3B）、100億（10B）、280億（28B）パラメーターの3つのサイズがあります。パラメーターはモデル内部の設定のようなもので、データを効果的に学習・処理するのに役立ちます。また、さまざまな画像解像度（たとえば、簡単なタスク向けの224 x 224ピクセルや、詳細な分析向けの896 x 896）をサポートし、幅広い用途に適応できます。

図1. PaliGemma 2の概要。

Gemma 2の高度な言語機能とSigLIPの画像処理を統合することで、PaliGemma 2の能力は大幅に高まります。次のようなタスクに対応できます。

• 画像や動画のキャプション生成: モデルは視覚情報を詳細なテキストで説明できるため、キャプションの自動生成に役立ちます。
• 視覚的質問応答: PaliGemma 2は、シーン内の物体、人、動作の特定など、画像に基づく質問に回答できます。
• 物体認識: 画像内の物体を識別してラベル付けします。たとえば、写真に写っている猫、テーブル、車を見分けられます。

PaliGemma 2は画像とテキストを個別に処理するだけでなく、両者を意味のある形で結び付けます。たとえば、「猫がテーブルの上に座っている」といったシーン内の関係を理解したり、有名なランドマークを認識する際に文脈を加えたりできます。

GoogleのPaliGemma 2 VLMモデルの仕組み#

次に、PaliGemma 2が視覚データとテキストデータをどのように処理するのかを理解するため、下の画像に示すグラフを使った例を見ていきます。このグラフをアップロードしてモデルに「このグラフは何を表していますか？」と尋ねたとします。

図2. PaliGemma 2の能力の一例。

処理は、PaliGemma 2のSigLIPビジョンエンコーダーで画像を分析し、主要な特徴を抽出することから始まります。グラフの場合、軸、データポイント、ラベルなどの要素を特定します。エンコーダーは、大まかなパターンと細かな詳細の両方を捉えられるようにトレーニングされています。また、光学文字認識（OCR）を使って、画像に埋め込まれたテキストを検出・処理します。こうした視覚的特徴はトークンに変換されます。トークンは、モデルが処理できる数値表現です。その後、線形射影レイヤーを使ってトークンを調整し、テキストデータと組み合わせられるようにします。

同時に、Gemma 2の言語モデルは、付随するクエリを処理して、その意味と意図を判断します。クエリのテキストはトークンに変換され、SigLIPからの視覚トークンと組み合わされて、視覚データとテキストデータを結び付ける統一形式であるマルチモーダル表現が作成されます。

この統合された表現を使い、PaliGemma 2は自己回帰デコーディングによって段階的に応答を生成します。これは、すでに処理したコンテキストに基づいて、回答の一部を一度に一つずつ予測する手法です。

PaliGemma 2の主な機能#

仕組みを確認したところで、PaliGemma 2を信頼性の高い視覚言語モデルにしている主な機能を見ていきましょう。

• ファインチューニングの柔軟性：特定のデータセットやタスクに簡単に適応し、画像キャプション生成、空間推論、医用画像などの用途で高い性能を発揮します。
• 多様なトレーニングデータ：WebLIやOpen Imagesなどのデータセットでトレーニングされており、高い物体認識能力と多言語出力機能を備えています。
• OCRの統合: 画像からテキストを抽出して解釈するための光学文字認識機能を搭載しており、文書分析などのテキストベースのタスクに最適です。
• 多言語出力: 複数の言語でキャプションや応答を生成できるため、グローバルな用途に最適です。
• ツールとの統合：Hugging Face Transformers、PyTorch、Kerasなどのフレームワークと互換性があり、容易なデプロイと実験を可能にします。

PaliGemma 2とPaliGemmaの比較: 何が改善されたのでしょうか？#

初代PaliGemmaのアーキテクチャを確認することは、PaliGemma 2の改良点を理解するうえで有効です。特に注目すべき変更の一つは、初代のGemma言語モデルをGemma 2に置き換えたことです。これにより、性能と効率の両方が大幅に向上しています。

2B、9B、27Bのパラメーターサイズで提供されるGemma 2は、デプロイコストを抑えながら、クラス最高水準の精度と速度を実現するように設計されました。強力なGPUからより手軽な構成まで、さまざまなハードウェア環境で推論効率を高めるよう再設計されたアーキテクチャによって、この性能を実現しています。

図3 PaliGemmaの初代モデルを振り返ります。

その結果、PaliGemma 2は非常に高精度なモデルとなっています。PaliGemma 2の10Bバージョンは、元のモデルの34.3に比べて、Non-Entailment Sentence（NES）スコアが低い20.3を達成しており、出力に含まれる事実誤認が少ないことを示しています。こうした進歩により、PaliGemma 2はスケーラビリティ、精度、適応性が向上し、詳細なキャプション生成から視覚的な質問応答まで、より幅広い用途に対応できます。Googleの新しいGemma 4モデルのうち、Gemma 4 26Bなどは、VLM Leaderboardで実世界の物体検出に関して他の視覚言語モデルと比較されています。

PaliGemma 2の用途: VLMモデルの実用例#

PaliGemma 2は視覚と言語の理解を組み合わせているため、さまざまな業界で活用できます。たとえば、アクセシビリティに関しては、物体やシーン、空間的な関係を詳しく説明し、視覚障害のある方を支援できます。この機能により、ユーザーは周囲の環境をよりよく理解でき、日常の作業をより自立して行えるようになります。

図4. PaliGemma 2は世界をよりアクセシブルにできます。

アクセシビリティに加え、PaliGemma 2は次のようなさまざまな業界にも影響を与えています。

• Eコマース: モデルは画像内の商品を分析して説明することで商品分類を強化し、在庫管理を簡素化するとともに、ユーザーの検索体験を向上させます。
• ヘルスケア: X線やMRIなどの医用画像を臨床記録と併せて解釈し、医療従事者を支援することで、より正確で十分な情報に基づく診断を可能にします。
• 教育：PaliGemma 2は、画像のキャプションを生成し、文脈情報を提供することで、教育者が説明的でアクセシブルな教材を作成できるよう支援します。
• コンテンツ制作：このモデルは、マルチメディアコンテンツのキャプションや視覚的な説明を生成するプロセスを自動化し、クリエイターの時間を節約します。

PaliGemma 2を実際に試してみましょう#

PaliGemma 2を試すには、Hugging Faceのインタラクティブデモから始められます。このデモでは、画像キャプション生成や視覚的な質問応答などのタスクを通じて、その機能を試せます。画像をアップロードし、モデルに質問したり、シーンの説明を求めたりするだけです。

図5. PaliGemma 2のデモ（出典：Hugging Face）。

さらに詳しく知りたい場合は、次の方法で実際に試してみましょう。

• 事前学習済みモデル：Hugging FaceやKaggleなどのプラットフォームから、事前学習済みモデルとコードにアクセスできます。これらのリソースには、モデルを使い始めるために必要なものがすべてそろっています。
• ノートブック：PaliGemma 2を理解するための包括的なドキュメントとサンプルノートブックが用意されています。推論の例から始めて、特定のタスク向けに独自のデータセットでモデルをファインチューニングしてみましょう。
• インテグレーション：PaliGemma 2は、Hugging Face Transformers、Keras、PyTorch、JAX、Gemma.cppなど、広く使われているフレームワークと互換性があり、既存のワークフローに統合できます。

GoogleのPaliGemma 2のメリットとデメリット#

PaliGemma 2の使い始め方を確認したところで、モデルを使う際に留意すべき主な強みと弱点を詳しく見ていきましょう。

PaliGemma 2が視覚言語モデルとして際立つ理由を紹介します。

• 効率の向上：Gemma 2の最適化されたアーキテクチャを活用するPaliGemma 2は、デプロイコストを抑えながら高いパフォーマンスを発揮します。
• 安全性機能の強化：PaliGemma 2では、バイアスを減らすための事前学習データの堅牢なフィルタリングや、安全性ベンチマークに対する厳格な評価など、トレーニングプロセスに大幅な安全性の改善が取り入れられています。
• 小規模構成での低レイテンシ：3Bモデルは推論時間が短いため、eコマースの商品レコメンデーションやライブサポートシステムなど、速度が重要なユースケースに適しています。

一方で、PaliGemma 2には次のような制約が生じる可能性があります。

• レイテンシ：高性能ではあるものの、大規模モデルではレイテンシの問題が発生する可能性があります。特に、リアルタイムの対話型AIシステムなど、即時の応答が求められるタスクにデプロイする場合に顕著です。
• 大規模データセットへの依存：PaliGemma 2のパフォーマンスは、トレーニングデータセットの品質と多様性に大きく左右されるため、トレーニングデータに含まれていない、十分に代表されていない分野や言語では効果が限られる可能性があります。
• 高いリソース要件：最適化されているとはいえ、10Bおよび28Bパラメーターのバージョンにはかなりの計算能力が必要なため、リソースが限られている小規模な組織には導入しにくい場合があります。

重要なポイント#

PaliGemma 2は視覚言語モデリングにおける注目すべき進歩であり、スケーラビリティ、ファインチューニングの柔軟性、精度が向上しています。アクセシビリティソリューションやeコマースから、医療診断や教育まで、幅広いアプリケーションで有用なツールとなります。

計算要件や高品質なデータへの依存といった制約はありますが、その強みから、視覚データとテキストデータを組み合わせる複雑なタスクに取り組むための実用的な選択肢となります。PaliGemma 2は、研究者や開発者がマルチモーダルアプリケーションにおけるAIの可能性を探り、広げるための堅牢な基盤となります。

GitHubリポジトリとコミュニティをぜひご覧いただき、AIに関する議論に参加してください。AIが農業と医療の分野でどのように進歩しているかもご覧ください。