LLMOps

LLMOps (大規模言語モデル運用)は、大規模言語モデル (LLM)を使ったアプリケーションを本番環境で構築、リリース、運用するためのプラクティスとツール群です。プロンプトやモデル選択のバージョン管理、リリース前後の生成テキスト評価、検索やツール呼び出しを含む複数ステップのリクエストのトレース、レイテンシやトークンコストの管理、ハルシネーションやプロンプトインジェクションなどの障害への対策を扱います。LLMOpsは、こうしたアプリケーションを対象とする機械学習運用 (MLOps)の一分野です。企業がチャットボットのプロトタイプを製品に移行させた2023年に、この用語が広く使われるようになりました。多くのチームは、モデルをゼロから訓練する代わりに、ホスト型またはオープンウェイトの基盤モデルをプロンプトエンジニアリング、検索拡張生成 (RAG)、ファインチューニングで適応させます。その結果、運用作業の大部分は学習パイプラインからモデル周辺のあらゆる作業へと移ります。

LLMOpsとMLOpsの違い#

リリースの単位は重みのセットよりも大きくなります。1つの変更で、プロンプトテンプレート、モデル名とバージョン、サンプリング設定、検索インデックス、ツール定義に影響する可能性があり、どの要素も挙動を変えるため、それぞれをバージョン管理します。プロンプト管理ツールはテンプレートをバージョン番号付きで保存し、アプリケーションが実行時に取得できるようにします。そのため、コードをリリースせずにプロンプトの編集やロールバックができます。ホスト型モデルはアプリケーションの稼働中に変更されることもあるため、プロバイダーが提供している場合はチームが日付付きモデルスナップショットを固定し、切り替え前にテストを再実行します。データ作業の形も変わります。RAGアプリケーションでは、検索インデックスの背後にあるドキュメント、チャンク分割設定、埋め込みモデルをバージョン管理し、埋め込みモデルを切り替える際にはコーパス全体を再埋め込みします。ファインチューニング済みのバリアントは、小さなLoRAアダプターとして保存し、共有ベースモデル上にサーバーから読み込むこともよくあります。

生成テキストには正解が1つとは限らないため、評価はより困難です。チームは、代表的な入力と参照回答または採点基準をまとめたゴールデンデータセットを維持し、完全一致チェック、人手によるレビュー、または強力なモデルが回答を採点するLLM-as-a-judgeで出力を評価します。2023年の論文Judging LLM-as-a-Judgeで、Lianmin Zhengらは、GPT-4が人間の好みと80%以上の確率で一致し、人間同士の一致率と同程度であることを示しました。リリース候補はすべて同じ評価スイートを実行し、本番環境のトラフィックからもケースを追加し続けます。

コストとレイテンシはリクエスト単位で管理します。ホスト型モデルはトークンごとに課金されるため、プロンプトキャッシュ、セマンティックキャッシュ、簡単なリクエストを小型モデルに送るモデルルーティングによってコストを抑えます。関連するパターンとして、安価なモデルを高価なモデルの前段に置く方法があります。Ultralytics Platform AgentsのYOLO → VLM Monitorテンプレートは、まずYOLO26を実行し、YOLOが人物を検出した画像に限って視覚言語モデルを呼び出します。言語モデルの使用料は、ワークスペースが指定するプロバイダーのキーに課金されます。安全性への取り組みも並行して行います。AIガードレールは各リクエストの入力と出力をフィルタリングし、レッドチーミングは各リリース前にジェイルブレイクを探ります。

トレース、ゲートウェイ、サービング#

LLMアプリケーションの可観測性はトレースを基盤とします。各リクエストは、プロンプト、すべてのモデル呼び出し、ベクトルデータベースからの各検索、AIエージェントによる各ツール呼び出しを示すスパンのツリーとなり、トークン数、レイテンシ、コストが紐付きます。OpenTelemetryの生成AIセマンティック規約は、モデルやトークン使用量の属性名を標準化します。LangSmith、Langfuse、Arize Phoenix、MLflow Tracingなどのツールは、トレースを保存して検索できるようにします。トレースはオンライン評価にも利用されます。本番環境の回答をサンプリングし、オフライン評価スイートと同じ判定モデルや採点基準で評価します。また、ユーザーの高評価・低評価を回答生成時のトレースに紐付けます。

AIゲートウェイはアプリケーションとモデルプロバイダーの間に位置し、APIキーを管理して、レート制限、フォールバック、支出予算を一元的に適用します。オープンウェイトモデルをホストするチームは、vLLMやSGLangなどの推論サーバーでモデルを実行します。これらは連続バッチ処理とページング方式のKVキャッシュメモリを使い、各GPUで多数の同時リクエストを処理します。