Context Engineering

コンテキストエンジニアリングとは、AIアプリケーションの各ステップで、モデルのコンテキストウィンドウにどの情報を入れるかを決める実践です。対象には、指示、例、検索したドキュメント、ツールの定義、ツールの結果、メモリ、会話履歴に加え、それぞれをどれだけ、どの順序で含め、何を除外するかが含まれます。この用語は、AIエージェントが数十から数百ステップに及ぶタスクを実行するようになった2025年半ばに広まりました。Andrej Karpathyはこれを「次のステップにちょうどよい情報だけをコンテキストウィンドウに詰め込む、繊細な技術と科学」と表現し、AnthropicのAIエージェントのための効果的なコンテキストエンジニアリングでは、推論中に「最適なトークンの集合」を整えることと説明しています。プロンプトエンジニアリング、つまり指示そのものを書くことは、その一部です。

コンテキストにエンジニアリングが必要な理由#

大規模言語モデル（LLM）が知っているのは学習データとコンテキスト内の情報だけなので、コンテキストが不足すると一般的な回答やハルシネーションが生じます。コンテキストが多すぎても問題です。入力が長くなるにつれて精度が低下する現象はコンテキスト劣化と呼ばれ、Lost in the Middleの研究では、長い入力の先頭または末尾にある情報をモデルは最もよく利用し、中央にある情報を最も利用しにくいことが示されました。Anthropicはコンテキストを、追加するたびに余裕が減っていく注意力の予算と説明しています。追加するトークンは、その予算を消費します。すべてのトークンはコストと推論レイテンシも増加させます。エージェントでは、各ステップでツール呼び出しとその結果が追加され、新しい内容がまだ必要かどうかにかかわらず、アクションのたびにコンテキストが大きくなるため、この問題が深刻になります。

主な戦略#

LangChainのコンテキストエンジニアリングの概要では、手法を4つの戦略に分類しています。これらはAnthropicが説明する長期的な手法に対応します。

• 書き込み：情報をスクラッチパッド、メモファイル、または長期メモリに保存し、会話が先に進んだ後も保持します。Anthropicはこれを構造化されたメモの作成と呼んでいます。
• 選択：関連する文章、メモリ、ツールの説明など、現在のステップに必要なものだけを取り込みます。Anthropicは、ファイルパスやクエリなどの軽量な参照情報を保持し、必要なときに内容を読み込むエージェントについて説明しています。
• 圧縮：要約または削除によって、タスクに必要なトークンだけを残します。コンパクションでは、ほぼ満杯になったコンテキストを要約し、その要約を使って新しいウィンドウで処理を続けます。
• 分離：クリーンなコンテキストウィンドウを持つサブエージェントに作業を分割し、要約した結果をリードエージェントに返します。または、大きなデータをコンテキストに入れず、サンドボックスや状態オブジェクトに保持します。

内容だけでなく、順序と安定性も重要です。プロンプトキャッシュでは同一のプレフィックスだけが再利用されるため、通常は固定の指示とツール定義を先に置き、変化する内容を最後に配置します。Lingrui Meiらによる1,400本を超える論文のサーベイでは、この分野をコンテキストの検索と生成、コンテキスト処理、コンテキスト管理に整理し、検索拡張生成、メモリシステム、ツール統合型推論、マルチエージェントシステムで実装されるとしています。

ツール、プロトコル、スキル#

エージェントのコンテキストの多くはツールに由来します。また、Anthropicが2024年11月に導入し、後にLinux Foundation傘下の財団に寄贈したModel Context Protocol（MCP）は、アプリケーションがモデルにツールやデータを公開する方法を標準化します。ツール定義もコンテキストの一部です。エージェントが呼び出せるツールはすべて、各リクエストでトークンを消費するため、タスクで必要になったときだけツール定義を読み込むエージェントもあります。エージェントスキルも同じ考え方を指示に適用し、タスクに応じてエージェントが読み込むガイダンスやリファレンスファイルをフォルダーとしてまとめます。

Ultralytics Agent Skillsは、Ultralytics YOLOを扱うコーディングエージェントにこの設計を採用しています。関連するタスクが要求されたときだけスキルが読み込まれ、yoloルータースキルが、データセット、トレーニング、エクスポートなど、各リクエストが関係するライフサイクル段階に振り分けます。重みの名前、トレーニング引数、エクスポート形式など、バージョンに依存する情報は、固定されたultralyticsリリースに基づくカタログに記載されます。また、2つの情報が異なる場合は、インストール済みパッケージを信頼するよう各スキルがエージェントに指示します。

コンテキストエンジニアリングと関連用語の違い#

• プロンプトエンジニアリング：指示や例の表現方法を扱います。コンテキストエンジニアリングは、アプリケーションのすべてのステップでモデルに届く、それ以外のあらゆる情報も管理します。
• プロンプト拡張：モデルに送る前に、単一のリクエストへデータを追加することで、コンテキストエンジニアリングにおける選択操作の1つです。
• コンテキストウィンドウ：モデルが入力できる最大長で、予算の上限を定めます。コンテキストエンジニアリングはその予算の使い方を決めます。ウィンドウが大きくても必要性はなくならず、ウィンドウが埋まるにつれて精度は低下します。
• ファインチューニング：重みを更新して、モデルが知っている内容を変更します。コンテキストエンジニアリングは推論時にモデルが見る内容を変更し、重みには手を加えません。