財団モデル

基礎モデルとは、ラベル付けされていない膨大な量の幅広いデータで学習された大規模な機械学習（ML）モデルであり、下流の幅広いタスクに適応させることができる。スタンフォード人間中心AI研究所による造語で、中核となるコンセプトは「創発的特性」であり、モデルは訓練されたデータからパターン、シンタックス、セマンティクスについて驚くほど汎用的な理解を展開する。この汎用的な性質により、ファインチューニングと呼ばれるプロセスを通じて、より特化したモデルを作成するための強力な出発点、つまり「基礎」として機能することができる。

主な特徴と用途

基礎モデルの特徴は、転移学習のパラダイムに由来する適応性にある。すべての問題に対してゼロから新しいモデルをトレーニングする代わりに、開発者は事前にトレーニングされた基礎モデルを、より少ないタスク固有のデータセットで適応させることができる。これにより、高性能なAIシステムを構築するために必要なデータ、計算、時間が劇的に削減される。

実際のアプリケーションは、その多用途性を示している：

1. 高度なチャットボットとバーチャルアシスタント： OpenAIのGPT-4のような大規模言語モデル（LLM）は、言語の基礎モデルとして機能する。これは、文法、事実、推論スキルを理解するために、膨大なインターネットテキストのコーパスで事前に訓練されています。企業はそれを社内文書や顧客との対話ログで微調整し、製品やサービスに関する特定の質問に高い精度で回答できる特化したチャットボットを作成することができます。
2. 医療画像解析： コンピュータビジョンでは、Meta AIのSegment Anything Model（SAM）のようなモデルが、画像セグメンテーションの基礎モデルとなる。これは、事前のコンテキストなしに、あらゆる画像内のオブジェクトを識別し、輪郭を描くことができる。医療研究者は、このモデルをMRIやCTスキャンの小さなセットで微調整することで、特定の臓器を正確にセグメント化したり、腫瘍などの異常を検出したりすることができ、医療画像解析の診断を加速することができる。

ファンデーション・モデルとその他のモデルの比較

基礎モデルを関連概念と区別することは重要だ：

• タスクに特化したモデル：伝統的に、MLは単一の目的のためにゼロからモデルをトレーニングしてきた。例えば、物流における荷物の検出のためだけにUltralyticsのYOLOモデルをトレーニングするようなものだ。効果的ではあるが、このアプローチでは、新しいタスクごとに大量のラベル付きデータが必要になる。ファウンデーションモデルは、より効率的な代替手段を提供します。
• 大規模言語モデル（LLM）：LLMは、言語タスクに特化した基盤モデルの代表的なタイプである。しかし、"基礎モデル "という用語は、画期的な論文"基礎モデルの機会とリスクについて "で詳述されているように、視覚、音声、その他のデータモダリティのモデルを包含する、より広いものである。
• 特殊なビジョンモデル： ヴィジョン・トランスフォーマー（ViT）のような大規模なビジョンモデルは基礎モデルとみなされますが、多くの特殊なCVモデルはそうではありません。例えば、自動車のAIのような特定のアプリケーションのために微調整されたYOLO11モデルは、特化されたモデルです。しかし、それはCOCOのような大規模データセットから得られた基礎知識を具現化する、事前に訓練されたバックボーンを活用しています。

トレーニングと今後の重要性

基礎モデルの事前学習はリソース集約的な取り組みであり、多くの場合、何千ものGPUと大規模なエンジニアリング努力を必要とする。しかし、一旦訓練されると、これらのモデルは広く利用できるようになる。

Ultralytics HUBのようなプラットフォームは、カスタムモデルのトレーニング、データセットの管理、およびソリューションの展開のワークフローを合理化することによって、ユーザーがこれらの基本的な機能を適応させるのを助けるツールを提供する。

ファンデーションモデルは、強力な能力へのアクセスを民主化することで、AIの展望を変えつつある。このようなモデルの台頭は、AIの倫理、データセットの偏り、計算の分断をめぐる重要な議論ももたらしている。将来的には、テキスト、画像、音声からの情報を同時に理解し処理できる、より強力で効率的なマルチモーダルモデルが登場し、AIのユースケースの次の波を牽引することになるだろう。