GoogleのPaliGemma 2：高度なVLMモデルへの洞察

2024年12月5日、Googleは最先端のビジョン言語モデル（VLM）の最新バージョンであるPaliGemma 2を発表しました。PaliGemma 2は、キャプションの生成、視覚的な質問への回答、映像内の物体検出など、画像とテキストを組み合わせたタスクを処理するように設計されています。

多言語のキャプション生成や物体認識で強力なツールであった従来のPaliGemmaを基盤とし、PaliGemma 2はいくつかの重要な改善をもたらしています。これには、より大きなモデルサイズ、高解像度画像のサポート、および複雑な視覚タスクにおけるパフォーマンスの向上が含まれます。これらのアップグレードにより、さらに柔軟かつ広範な用途で効果を発揮します。

この記事では、PaliGemma 2の仕組み、主要な機能、そして輝きを放つアプリケーションなど、その詳細を掘り下げます。それでは始めましょう！

Link to this sectionGemma 2からPaliGemma 2へ#

PaliGemma 2は、SigLIPビジョンエンコーダーとGemma 2言語モデルという2つの主要技術に基づいて構築されています。SigLIPエンコーダーは、画像や動画などの視覚データを処理し、モデルが分析可能な特徴量へと分解します。一方、Gemma 2はテキストを処理し、モデルが多言語を理解し生成できるようにします。これらが組み合わさることで、視覚情報とテキスト情報をシームレスに解釈・接続するように設計されたVLMが形成されます。

PaliGemma 2が大きな飛躍を遂げた理由は、そのスケーラビリティと汎用性にあります。オリジナル版とは異なり、PaliGemma 2には30億（3B）、100億（10B）、280億（28B）パラメータの3つのサイズがあります。これらのパラメータはモデルの内部設定のようなもので、データを効率的に学習し処理するのに役立ちます。また、さまざまな画像解像度（例えば、クイックタスク用の224 x 224ピクセルや詳細分析用の896 x 896など）をサポートしており、さまざまなアプリケーションに適応可能です。

図1. PaliGemma 2の概要。

Gemma 2の高度な言語能力とSigLIPの画像処理を統合することで、PaliGemma 2は大幅にインテリジェントになりました。以下のようなタスクを処理可能です：

• 画像や動画のキャプション生成：モデルは視覚情報について詳細なテキスト記述を生成できるため、自動キャプション作成に役立ちます。
• 視覚的な質問応答： PaliGemma 2は、シーン内の物体、人、行動の特定など、画像に基づいた質問に回答できます。
• 物体認識：画像内の物体を識別してラベル付けします。例えば、写真の中の猫、テーブル、車を区別するといったことが可能です。

PaliGemma 2は画像とテキストを個別に処理するだけでなく、それらを意味のある方法で統合します。例えば、シーン内の関係性を理解して「猫がテーブルの上に座っている」と認識したり、有名なランドマークを認識しながらコンテキストを追加したりすることが可能です。

Link to this sectionGoogleのPaliGemma 2 VLMモデルの仕組み#

次に、以下の図のグラフを使用して、PaliGemma 2が視覚データとテキストデータをどのように処理するかをより深く理解するために、例を追っていきましょう。このグラフをアップロードして、モデルに「このグラフは何を表していますか？」と尋ねたと仮定します。

図2. PaliGemma 2の能力の例。

処理プロセスは、PaliGemma 2のSigLIPビジョンエンコーダーを使用して画像を分析し、重要な特徴を抽出することから始まります。グラフの場合、これには軸、データポイント、ラベルなどの要素を特定することが含まれます。エンコーダーは、広範なパターンと微細な詳細の両方を捉えるようにトレーニングされています。また、光学式文字認識 (OCR)を使用して、画像に埋め込まれたテキストを検出および処理します。これらの視覚的特徴はトークンに変換されます。これは、モデルが処理できる数値表現です。これらのトークンは、線形投影レイヤーを使用して調整され、テキストデータとシームレスに結合できるようにするための手法がとられています。

同時に、Gemma 2言語モデルが付随するクエリを処理し、その意味と意図を決定します。クエリからのテキストはトークンに変換され、SigLIPからの視覚的トークンと組み合わされてマルチモーダル表現を作成します。これは、視覚データとテキストデータをリンクする統一された形式です。

この統合された表現を使用して、PaliGemma 2は自己回帰デコーディングを通じて段階的に応答を生成します。これは、モデルがすでに処理したコンテキストに基づいて、一度に答えの一部ずつを予測する手法です。

Link to this sectionPaliGemma 2の主要な機能#

その仕組みを理解したところで、PaliGemma 2を信頼できるビジョン言語モデルにしている主な機能を探ってみましょう：

• ファインチューニングの柔軟性：特定のデータセットやタスクに簡単に適応でき、画像キャプション、空間推論、医療画像処理などのアプリケーションで優れた性能を発揮します。
• 多様なトレーニングデータ：WebLIやOpenImagesのようなデータセットでトレーニングされており、強力な物体認識能力と多言語出力能力を備えています。
• OCR統合: 画像からテキストを抽出・解釈するための光学式文字認識が含まれており、ドキュメント分析やその他のテキストベースのタスクに最適です。
• 多言語出力: キャプションや回答を複数の言語で生成でき、グローバルなアプリケーションに最適です。
• ツールとの統合：Hugging Face Transformers、PyTorch、Kerasなどのフレームワークと互換性があり、容易なデプロイと実験を可能にします。

Link to this sectionPaliGemma 2とPaliGemmaの比較：何が改善されたのか？#

PaliGemmaの最初のバージョンのアーキテクチャを見ると、PaliGemma 2の強化点がよくわかります。最も注目すべき変更点の1つは、オリジナルのGemma言語モデルがGemma 2に置き換わったことであり、これによりパフォーマンスと効率の両面で実質的な向上がもたらされました。

9Bおよび27Bパラメータサイズで利用可能なGemma 2は、デプロイコストを削減しつつ、クラス最高レベルの精度と速度を提供するように設計されました。これは、強力なGPUからより一般的な構成まで、さまざまなハードウェア環境での推論効率を最適化するために再設計されたアーキテクチャを通じて達成されています。

図3. PaliGemma 2の最初のバージョンを振り返る。

その結果、PaliGemma 2は非常に高精度なモデルとなりました。PaliGemma 2の10Bバージョンは、NES（Non-Entailment Sentence）スコアが20.3と、オリジナルの34.3よりも低く、出力における事実誤認が少ないことを示しています。これらの進歩により、PaliGemma 2は詳細なキャプション生成から視覚的な質問回答に至るまで、より広範なアプリケーションに対してよりスケーラブルで、精密かつ適応性の高いものになっています。

Link to this sectionPaliGemma 2のアプリケーション：VLMモデルの実世界での使用例#

PaliGemma 2は、視覚理解と言語理解をシームレスに統合することで、産業を再定義する可能性を秘めています。例えば、アクセシビリティの観点では、物体、シーン、空間関係の詳細な記述を生成し、視覚障害を持つ個人に重要な支援を提供できます。この機能により、ユーザーは環境をよりよく理解できるようになり、日常生活のタスクにおいてより高い自立性を得ることができます。

図4. PaliGemma 2は世界をよりアクセシブルな場所にできる。

アクセシビリティに加えて、PaliGemma 2は以下の分野を含むさまざまな業界で影響を与えています：

• Eコマース：画像内の商品を分析・記述することで製品の分類を強化し、在庫管理を簡素化し、ユーザーの検索体験を向上させます。
• ヘルスケア：X線やMRIなどの医療画像と臨床メモを併せて解釈することで、より正確で情報に基づいた診断を提供し、医療専門家を支援します。
• 教育：画像に対するキャプションを生成したり、コンテキスト情報を提供したりすることで、教育者が記述的でアクセスしやすい学習教材を作成するのを支援します。
• コンテンツ作成：マルチメディアコンテンツのキャプションや視覚的記述を生成するプロセスを自動化し、クリエイターの時間を節約します。

Link to this section実際に試してみる：PaliGemma 2#

PaliGemma 2を試すには、Hugging Faceの対話型デモから始めることができます。これにより、画像キャプションや視覚的な質問回答といったタスクにおける能力を探ることができます。単に画像をアップロードし、モデルにそれに関する質問をしたり、シーンの説明を求めたりしてみてください。

図5. PaliGemma 2のデモ (出典: Hugging Face)。

さらに詳しく掘り下げたい場合は、以下のように実際に操作してみることができます：

• 事前学習済みモデル：Hugging FaceやKaggleなどのプラットフォームから、事前学習済みモデルとコードにアクセスできます。これらのリソースには、モデルを使用して作業を開始するために必要なすべてが含まれています。
• ノートブック：PaliGemma 2に慣れるための包括的なドキュメントとサンプルノートブックがあります。推論の例から始めて、特定のタスクのために独自のデータセットでモデルをファインチューニングする実験を行うことができます。
• 統合: PaliGemma 2は、Hugging Face Transformers、Keras、PyTorch、JAX、Gemma.cppなどの広く使用されているフレームワークと互換性があり、既存のワークフローに簡単に統合できます。

Link to this sectionGoogleのPaliGemma 2の長所と短所#

PaliGemma 2の開始方法を理解したところで、これらのモデルを使用する際に留意すべき主な長所と短所を詳しく見ていきましょう。

PaliGemma 2がビジョン言語モデルとして際立っている理由は次のとおりです：

• 効率の向上： Gemma 2の最適化されたアーキテクチャを活用することで、PaliGemma 2は高いパフォーマンスを提供しつつ、デプロイコストを最小限に抑えます。
• 強化された安全性機能：PaliGemma 2は、トレーニングプロセスにおいて、偏見を減らすための事前学習データの堅牢なフィルタリングや、安全性ベンチマークに対する厳格な評価など、大幅な安全性の改善を行っています。
• 小規模な構成での低レイテンシ：3Bモデルはより速い推論時間を提供し、Eコマースの製品レコメンデーションやライブサポートシステムなど、速度が不可欠なユースケースに適しています。

一方、PaliGemma 2が制限に直面する可能性がある分野は以下の通りです：

• レイテンシ：強力ではありますが、大規模なモデルは、リアルタイム対話型AIシステムなど、即時の応答が必要なタスクにデプロイされた場合にレイテンシの問題に直面する可能性があります。
• 大規模データセットへの依存： PaliGemma 2のパフォーマンスは、トレーニングデータセットの品質と多様性に密接に関連しており、これがトレーニングデータに含まれていない過小評価されたドメインや言語での有効性を制限する可能性があります。
• 高いリソース要件：最適化にもかかわらず、10Bおよび28Bパラメータのバージョンには膨大な計算能力が求められるため、リソースが限られている小規模な組織にはアクセスしにくくなっています。

Link to this section重要なポイント#

PaliGemma 2は、スケーラビリティ、ファインチューニングの柔軟性、および精度の向上を提供し、ビジョン言語モデリングにおける魅力的な進歩です。アクセシビリティソリューションやEコマースから、医療診断や教育に至るまで、幅広いアプリケーションで価値あるツールとして機能します。

計算要件や高品質データへの依存といった制限はありますが、その強みによって、視覚データとテキストデータを統合する複雑なタスクに取り組むための実用的な選択肢となっています。PaliGemma 2は、研究者や開発者がマルチモーダルアプリケーションにおけるAIの可能性を探求・拡大するための強固な基盤を提供します。

私たちのGitHubリポジトリやコミュニティをチェックして、AIの会話に参加してください。AIが農業やヘルスケアでどのように進歩しているかについて読んでみてください！ 🚀