Large Language Model (LLM)

大規模言語モデル（LLM）は、ほぼ常にTransformerで構成されるニューラルネットワークです。数兆個のテキストトークンで学習した数十億個のパラメーターを持ち、系列内の次のトークンを予測します。この単一の目的を大規模に適用することで、質問への回答、文書の要約、翻訳、コード作成、ソフトウェアツールの呼び出しが可能なモデルになります。OpenAIのGPT、AnthropicのClaude、GoogleのGeminiはAPI経由で提供されるLLMファミリーです。また、MetaのLlama、AlibabaのQwen、DeepSeek、Mistral、OpenAIのgpt-ossはオープンウェイトを公開しています。Transformerアーキテクチャは2017年の論文Attention Is All You Needに由来し、GPT-3は2020年に、1,750億パラメーターのモデルがプロンプト内の例からタスクを学習できることを示しました。ChatGPTは2022年11月、LLMを幅広いユーザーに普及させました。

LLMの仕組み#

LLMはまずトークン化によってテキストをトークンIDに変換し、それぞれの埋め込みベクトルを参照します。これらのベクトルは同一構造のブロックを積み重ねた層に渡されます。各ブロックは、各トークンが前のトークンから情報を取得できる因果的な自己注意と、各トークンを個別に変換するフィードフォワード層を組み合わせます。最後のブロックは語彙内の各トークンについてsoftmax確率を出力し、モデルはその中から1つを選んで追加し、この処理を繰り返します。これがテキスト生成の仕組みです。

モデルの規模はパラメーター数で測定され、近年のモデルの多くはスパースです。エキスパート混合（MoE）では、ルーターが多数のフィードフォワードエキスパートのうち一部に各トークンを送るため、DeepSeek-V3はパラメーターを6,710億個持ちながら、トークンごとに使用するのは370億個です。モデルが一度に読み込めるテキスト量であるコンテキストウィンドウは、GPT-3の2,048トークンから、現在の複数のモデルでは100万トークン以上に拡大しました。こうした長い入力を提供するには、それ以前のすべてのトークンのアテンションキーと値を保存するKVキャッシュが必要です。

LLMの学習方法#

事前学習は自己教師あり学習です。モデルは人手によるラベルなしで、ウェブページ、書籍、コードの次のトークンを予測します。スケーリング則は、パラメーター、データ、計算量を増やすと損失がどう低下するかを予測します。DeepMindのChinchilla研究では、計算量に対して最適な学習では、パラメーターあたり約20トークンを使用することが示されました。現在のモデルはこの比率を大きく超えて学習されており、MetaはLlama 3を約15兆トークンで事前学習しました。事後学習では、こうして得られたベースモデルをアシスタントに仕上げます。指示チューニングでリクエストに従う方法を教え、人間のフィードバックによる強化学習（RLHF）または直接選好最適化によって回答を人間の選好に合わせます。OpenAIのInstructGPTの結果では、ラベラーは13億パラメーターのチューニング済みモデルを、1,750億パラメーターのGPT-3よりも好みました。OpenAIのo1やDeepSeek-R1などの推論モデルは、大規模な強化学習を追加します。DeepSeek-R1では、数学やコーディングの検証可能な問題に対して検証可能な報酬による強化学習を行い、回答前に長い推論過程を書き出すよう学習します。その後、チームはファインチューニング、多くの場合はLoRAを使ってモデルを自社ドメインに適応させるか、重みを変更せずに検索拡張生成（RAG）で知識を提供します。

用途#

LLMは、チャットボットやアシスタント、リポジトリ全体を編集・テストするエージェント型コーディングツール、検索や文書に関する質問応答、関数呼び出しで複数ステップのタスクを計画するAIエージェントを支えています。画像エンコーダーを追加すると、写真、グラフ、動画フレームについての質問に答える視覚言語モデル (VLM)になります。主要なLLMファミリーは画像も読み取り、Ultralytics VLM Leaderboardでは、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argonなどのモデルが実世界のデータセットでどれほど正確に物体を検出するかを比較します。Ultralytics LLMインターフェースは、OpenAI、DeepSeek、Kimi、Z.AI、OpenRouter、またはローカルサーバーのOpenAI互換モデルにテキストや画像を送信します。そのため、YOLO26のパイプラインでは、人物が現れたときにシーンを説明するなど、検出結果の説明が必要な場合に限ってLLMを呼び出せます。

LLMと関連用語の比較#

• 自然言語処理（NLP）： 人間の言語をコンピューターで扱う分野です。現在、LLMはその主要なモデル種別です。
• 生成AI： 画像、音声、動画の生成モデルを含む、新しいコンテンツを作成するあらゆるモデルです。
• 基盤モデル： 2021年にスタンフォード大学の研究者が名付けた、広範なデータで事前学習され、多様なタスクに適応できる大規模モデルの総称です。視覚系の基盤モデルとLLMの両方が含まれます。
• 小規模言語モデル（SLM）： スマートフォン、ノートPC、または低コストのサービングで動作するほどコンパクトな言語モデルで、通常は数十億以下のパラメーターを持ちます。

制限事項#

LLMは、事実かどうかにかかわらず流暢な文章を生成するため、事実に基づく作業ではハルシネーションが主なリスクとして残ります。また、検索やツールで情報を補わない限り、学習のカットオフ以降のことをモデルは知りません。学習データのバイアスはモデルにも引き継がれ、ウェブページやドキュメントに隠された指示は、プロンプトインジェクションを通じてエージェントを乗っ取る可能性があります。コンテキストが非常に長くなると、コンテキスト劣化と呼ばれる現象によって精度も低下します。LLMの提供には大量のメモリも必要です。700億パラメーターのモデルでは、16ビット重みで約140 GB、4ビットで約35 GBが必要です。そのため、モデル量子化形式のGGUFなどを使うと、単一のワークステーションでモデルを実行できます。