財団モデル

主な特徴

ファウンデーション・モデルは、いくつかのコア属性によって定義される：

• 規模：通常、数十億から数兆ものパラメータを含む非常に大規模なもので、インターネットやその他の広範な情報源（ビッグデータ）から収集した膨大なデータセットを用いて学習する。
• 事前学習：通常、自己教師あり学習または教師なし学習法を使用し、モデルは明示的なラベルを使用せずにデータ自体の固有の構造から学習する。
• 適応性：主な利点は適応性である。一度事前学習すれば、センチメント分析、画像認識、物体検出などの特定のタスクに対して、事前学習で得た一般的な知識を活用しながら、比較的少量のラベル付きデータで微調整することができる。このプロセスは転移学習の一種である。
• 均質化：これまで複数の専門的なモデルを必要としていた機能を、単一の適応可能なフレームワークに統合する傾向があり、MLOを単純化する可能性がある。

財団モデルの仕組み

基礎モデルの作成と使用には、通常2つの段階がある：

1. 事前トレーニング：モデルは膨大で多様なデータセットで訓練される。GPT-3のような言語モデルでは、文中の次の単語を予測する。視覚モデルの場合、マスクされた画像パッチの再構築や、画像とテキストの関連付けの学習（CLIP）が含まれる。この段階では、かなりの計算リソース(GPU, TPU).
2. 微調整/適応：事前に訓練されたモデルは、より小さなタスク固有のラベル付きデータセットを使用して、特定の下流タスクに適応される。ファインチューニングのような手法はモデルの重みを調整し、プロンプトエンジニアリングのような手法は重みを変えずにモデルの出力を導く。

事例と応用

ファウンデーション・モデルは様々な領域にまたがる：

• 自然言語処理（NLP）： BERTや GPT-4のようなLLMはその代表例であり、テキスト生成、翻訳、要約などが可能である。実例：文脈を理解し、ニュアンスのある応答を提供する高度なカスタマーサービス・チャットボットは、多くの場合、基礎となるLLMを微調整することで構築されます。
• コンピュータビジョン（CV）： ビジョントランスフォーマー(ViT)やセグメント何でもモデル(SAM)のようなモデルは、視覚タスクの基礎モデルとして機能する。これらは画像分類、画像セグメンテーション、検出などに応用できる。実例：医療画像解析のためのツールは、腫瘍のような特定の状態を検出するために、X線やMRIのデータセット上でビジョン基礎モデルを微調整することによって開発することができます。
• マルチモーダルモデル：CLIPやDALL-Eのようなモデルは、複数のモダリティ（テキストや画像など）からの情報を同時に処理します。これらのモデルを理解することは、AIが進化する上で非常に重要です（視覚言語モデルの理解）。

ファンデーション・モデルとその他のモデルの比較

• タスクに特化したモデル：基礎モデルとは異なり、伝統的なMLでは、単一のタスクのために特定のデータセットでゼロからモデルをトレーニングすることがよくある（例えば、タスクに特化したモデルをトレーニングする）。 Ultralytics YOLOモデルを空撮画像から物体を検出するためだけにトレーニングするなど）。効果的ではあるが、これには新しいタスクごとにかなりのラベル付きデータと労力が必要となる。Foundationモデルは、転移学習によってこのような問題を軽減することを目的としています。
• 大規模言語モデル（LLM）：LLMは、言語タスクのために特別に設計された、著名な基礎モデルの一種である。LLMは、言語タスクのために特別に設計された、著名な基礎モデルの一種である。「基礎モデル」という用語はより広義であり、視覚、音声、その他のモダリティのモデルも含まれる。
• CVモデル：ViTやSAM ような大規模なビジョンモデルが基礎モデルとみなされる一方で、多くのCVモデル（特定のバージョンの YOLOv8や YOLO11特定のアプリケーション（農業AI、自動車AI）のために訓練されたYOLOv8やYOLO11を含む多くのCVモデルは、汎用のベースモデルそのものというよりは、通常、そのようなビジョンタスクのために特別に微調整または訓練されています。しかし、事前に訓練されたバックボーンを使用する傾向は、一般的な特徴を活用するという中核的なアイデアを共有しています。

トレーニングとリソース

基礎モデルの事前学習には計算コストがかかり、GPUやTPUの大規模なクラスタと多大なエンジニアリングの労力を必要とすることが多い。 GoogleやMeta AI、OpenAIのような大規模な研究所や企業によって行われている。しかし、一度事前に訓練されたモデルは、より効率的に適応させることができる。Ultralytics HUBのようなプラットフォームは、カスタムモデルの訓練、データセットの管理Ultralytics Datasets）、ソリューションの展開（Model Deployment Options）のためのツールを提供し、多くの場合、基礎知識を具現化する事前訓練された重みを活用する。効果的な適応には、注意深いハイパーパラメータのチューニングと、場合によってはデータの増強が必要です。

重要性と将来性

ファウンデーションモデルはAIの状況を変えつつあるRoboflow on Foundation Models）。それらは開発を加速させ、新しいアプリケーションを可能にし、AIの倫理、バイアス、計算機へのアクセスに関する重要な考察を提起している。スタンフォードのファウンデーションモデル研究センター（CRFM）のような研究機関は、その能力と社会的影響の研究に専念している。将来的には、より強力で効率的、そして潜在的にマルチモーダルな基盤モデルが、科学、産業、そして日常生活全体のイノベーションを牽引することになるだろう（AIユースケース）。