Small Language Models (SLMs)

小規模言語モデル（SLM）とは、スマートフォン、ノートPC、または控えめな性能のGPU 1基で実行できるほどコンパクトな言語モデルです。あるいは、わずかなコストで大量のリクエストを処理できます。明確な境界はありません。NVIDIAの研究者は、一般的なコンシューマーデバイスで動作し、1人のユーザーのリクエストに十分な速度で応答するモデルをSLMと定義しています。2025年時点では、ほとんどの10億パラメーター未満のモデルをSLMに含めています。MicrosoftのPhi-3-miniは、2024年4月にリリースされた38億パラメーターのモデルで、MMLUベンチマークでGPT-3.5に匹敵する69%のスコアを獲得しながら、スマートフォンで実行できるサイズです。広く利用されているその他のSLMには、2億7,000万から40億パラメーターのGoogle Gemma 3モデル、MetaのLlama 3.2 1Bおよび3B、Alibabaの小型Qwen3モデル、Apple Intelligenceを支える約30億パラメーターのオンデバイスモデルなどがあります。

SLMの構築方法#

SLMは大規模言語モデル（LLM）と同じTransformerアーキテクチャを使い、学習時の工夫で小さなサイズを補います。

• データ品質: MicrosoftはPhi-3-miniを、厳しくフィルタリングした公開ウェブテキストと合成データの3.3兆トークンで学習し、その成果をこのデータセットによるものとしています。
• 過剰学習: スケーリング則では、学習計算量を最小化するにはパラメーターあたり約20トークンが必要とされます。一方、SLMは数百から数千トークンを使って学習し、追加の学習計算量と引き換えに、クエリあたりのコストが低い小型モデルを実現します。MetaはLlama 3 8Bを15兆トークンで学習しました。
• 知識蒸留: GoogleはGemma 2の2Bおよび9Bモデルを、通常の次トークン予測ではなく、大規模な教師モデルの次トークン分布に一致するよう学習しました。
• モデル量子化: 38億パラメーターのモデルは、重みを16ビットで保存すると約7.6 GB、4ビットでは約1.9 GBを必要とします。Appleは量子化を考慮した学習（QAT）により、オンデバイスモデルを重みあたり2ビットに圧縮しています。GGUFファイルは、ノートPC向けの4ビットモデルをパッケージ化します。

SLMの実行環境#

最も目に見える用途は、デバイス上のアシスタントです。2025年に発表されたAppleのFoundation Modelsフレームワークを使うと、アプリ開発者はApple Intelligenceを支えるオンデバイスモデルに直接アクセスできます。また、スマートフォンのチップはニューラルプロセッシングユニット（NPU）でこれらのモデルを実行し、テキストをサーバーに送信せずに処理できるため、データプライバシーの向上につながります。企業は、分類、情報抽出、サポートへの返信など、対象を絞ったタスク向けにLoRAを使ってSLMをファインチューニングし、社内知識を扱うために検索拡張生成（RAG）を追加することもよくあります。Googleはこの種のタスク特化型チューニング向けにGemma 3 270Mを開発しました。2億7,000万パラメーターのうち1億7,000万は、256Kトークンの語彙の埋め込みに使われています。

AIエージェントは新しい用途です。NVIDIAの論文は、エージェントのサブタスクの大半はSLMで処理できるほど限定的かつ反復的であり、残りのタスクには大規模モデルを使う方法を提案しています。これはモデルルーティングの一種です。

同じ分担は、エッジAIハードウェア上のビジョンパイプラインにも適用できます。Ultralytics LLMインターフェースは、Ollamaなどのローカルサーバーを含め、OpenAI互換エンドポイントならどれでもbase_urlを受け付けます。そのため、エッジデバイス上のYOLO26パイプラインは、フレームや検出結果を同じマシン上のSLMに送り、クラウドへの接続なしでテキストレポートを取得できます。

SLMと関連用語#

• 大規模言語モデル: 数百億から数千億以上のパラメーターを持つ同種のモデルです。幅広い知識と、より高度な複数段階の推論能力を備え、通常はデータセンターのGPUで提供されます。
• 視覚言語モデル (VLM): 言語モデルに画像エンコーダーを追加します。AppleのFastVLMなどの小型VLMは、画像理解にSLMの技術を適用します。VLM LeaderboardにはGemma 4 E2BやQwen3.5 2Bなどの小型VLMも含まれており、はるかに大規模なモデルと並べて物体検出の精度を測定します。
• TinyML: 数キロバイトから数メガバイトのメモリを持つマイクロコントローラー上で機械学習を行います。8ビット重みで約270 MBを必要とする2億7,000万パラメーターのSLMでさえ、実行できません。