基盤モデル

基盤モデルとは 機械学習（ML）システムである。 基礎モデルとは、膨大な量の幅広いデータで訓練された大規模な機械学習（ML）システムのことで、下流の幅広いタスクに適応させることができる。スタンフォード人間中心AI研究所 スタンフォード人間中心AI研究所（HAI）によって作られたこのモデルは、人工知能（AI）のパラダイムシフトを象徴している。 人工知能（AI）のパラダイムシフトを意味する。 単一のモデルが、一般的なパターン、構文、意味的関係を学習する。 段階を経て学習される。一旦学習されると、この「基礎」は汎用性の高い出発点として機能し、開発者は微調整を通じて特定のアプリケーションのために修正することができる。 この「基礎」は、開発者が微調整によって特定のアプリケーション用に変更できる、汎用性の高い出発点として機能します、 特化したモデルをゼロから構築する必要性を大幅に削減します。

核となる特徴とメカニズム

財団モデルのパワーは、そのスケールと 移転学習の方法論にある。従来の 基礎モデルは、特定の目的（特定の花の種の分類など）のために訓練された従来のモデルとは異なり、テキストや画像、音声を含む膨大なデータセットを取り込み データセットを取り込む。 自己教師付き学習技術を使用します。これにより これにより、モデルは「創発的特性」を発揮し、明示的にプログラムされていないタスクを実行できるようになる。 を実行することができる。

主なメカニズムは以下の通り：

• 事前トレーニング：モデルは何千もの テラバイトのデータをGPUで処理、 情報の基礎構造を学習する。
• 適応力：パラメータ効率的微調整（PEFT）により パラメータ効率的な微調整（PEFT）により、基礎モデルの幅広い知識は、次のような特定のタスクに秀でるように絞り込まれます。 医療画像解析や法的文書 レビューします。
• 変圧器アーキテクチャ：最近の基礎モデルのほとんどは トランスフォーマー・アーキテクチャを採用している。 アテンション・メカニズムを用いて、異なる入力部分の重要性を効率的に評価する。

実際のアプリケーション

ファウンデーション・モデルは ジェネレーティブAIのブームに火をつけ、さまざまな業界に変革をもたらしつつある。 業界を変革している：

1. 自然言語処理（NLP）：OpenAIのGPT-4のようなモデル OpenAIのGPT-4のようなモデルは、テキストの基礎モデルとして機能します。これらは コーディングが可能なバーチャルアシスタント 翻訳、創造的なライティングが可能です。これらのモデルを微調整することで、企業は次のようなAIエージェントを作成します。 顧客サポートや技術文書作成に特化した ドキュメンテーション
2. コンピュータビジョン(CV):ビジュアル領域では ヴィジョン・トランスフォーマー（ViT）やCLIP (Contrastive Language-Image Pre-Training）のようなモデルが基礎となる。例えば、ロバストな事前学習済みのバックボーンにより、以下のことが可能になります。 Ultralytics YOLO11を物体検出の基礎ツールとして機能させることができる。 として機能する。物流会社は ベルトコンベア上の荷物を検出するために、この事前に訓練された機能を微調整することができる。 ベルトコンベア上の荷物をdetect 。 モデルの形状やテクスチャに関する事前知識を活用することで、最小限のラベル付きデータで高い精度を達成することができます。

ファウンデーション・モデルと関連概念

ファウンデーション・モデルを、AI業界における類似の用語と区別することは重要である：

• 大規模言語モデル（LLM）との比較：LLMとは LLMは 、テキストと言語タスク専用に設計された LLMは、テキストと言語タスクのためだけに設計された特定のタイプの基礎モデルである。基礎モデル」という用語はより広義で 画像や音声、センサーデータを扱うマルチモーダルモデルも含まれる、 を扱うマルチモーダルモデルも含まれる。
• 対人工知能（AGI）：基礎モデルは一般知能を模倣しているが AGIではない。 AGIではない。彼らは訓練データから学習した統計的パターンに依存している。 Googleディープマインドの研究者たちは、この境界を探求し続けている。 Google DeepMindの研究者たちは、これらの境界を探求し続けている。
• 伝統的なMLとの比較：伝統的なML 従来の教師あり学習は、しばしばランダムな初期化からモデルを モデルを学習する必要がある。ファウンデーション・モデルは、「知識のある」開始状態を提供することで、AIを民主化する。 を提供することで、AIを民主化し、高性能なアプリケーションを作成するための参入障壁を大幅に引き下げます。

実践的な実施

基礎モデルの使用は、通常、事前に訓練された重みをロードし、より小さなカスタムデータセットでさらに訓練することを含む。 データセットでさらに学習する。そのため ultralytics ライブラリーは、ビジョン・タスクのためのこのプロセスを合理化し、ユーザーがYOLO11の基本機能を活用できるようにします。 YOLO11基本機能を活用することができます。

次の例は、事前にトレーニングされたYOLO11 モデル（基礎）をロードし、特定の検出タスクのためにそれを微調整する方法を示しています。 特定の検出タスクのために微調整する方法を示します：

from ultralytics import YOLO

# Load a pre-trained YOLO11 model (acts as the foundation)
# 'yolo11n.pt' contains weights learned from the massive COCO dataset
model = YOLO("yolo11n.pt")

# Fine-tune the model on a specific dataset (Transfer Learning)
# This adapts the model's general vision capabilities to new classes
model.train(data="coco8.yaml", epochs=5)

課題と今後の展望

基礎モデルは強力ではあるが、データセットの偏りや計算コストの高さなど データセットの偏りや学習にかかる計算コストの高さなど という課題がある。基礎モデルに関する代表的な論文は、次のようなリスクを強調している。 基礎の欠陥が下流の適応すべてに伝播する。その結果 AIの倫理と安全性研究は、AIの開発の中心となっている。 その結果、AIの倫理と安全性の研究は、AIの開発の中心的存在になりつつある。今後、業界は次のような方向に向かっている。 マルチモーダルAIに移行しつつある。 より包括的な自律走行車やロボット工学への道を開く。 自律走行車やロボット工学への道を開く。