Context Rot
コンテキスト腐敗（Context Rot）とは何か、なぜ長いAI入力が信頼性を低下させるのか、そして検索、圧縮、およびYOLO26のワークフローがどのようにコンテキストエンジニアリングを改善するのかを学びます。
Context rot（コンテキスト劣化）とは、AIモデルが効果的に活用できる量を超えるコンテキストを受け取った際に生じる、信頼性の漸進的な低下のことです。謳い文句上のcontext windowが技術的に数十万トークンを保持できる場合であっても、入力が増加するにつれて、large language modelが関連する事実を見落としたり、古い指示に従ったり、推論の精度が低下したりする可能性があります。2025年のChroma context rot studyでは、18個のモデルといくつかの制御されたタスクにおいて、この不均一なパフォーマンスが観測されました。(trychroma.com)
Link to this sectionContext Rotが発生する仕組み#
長い入力は、モデルのattention mechanismに大きな負荷をかけます。重要な証拠情報は、繰り返される指示や無関係なドキュメント、ツール出力、古い会話履歴と競合しなければなりません。コンテキストの位置、意味的な類似性、矛盾する事実、およびタスクの複雑さはすべて、モデルが何を使用するかに影響を及ぼし得ます。
2024年のRULER long-context benchmarkでは、単純な検索タスクで良好なパフォーマンスを示すモデルであっても、シーケンス長とタスクの複雑さが増すにつれて精度が低下することが明らかになりました。2025年のNoLiMa benchmarkは、単語の単純な一致ではなく意味的な推論が必要な回答を見つける際に、より大きな低下が生じることを示しました。そのため、Geminiモデルを含め、Context Rotが始まる普遍的なトークン数というものは存在しません。その閾値は、モデル、プロンプトの構造、およびタスクに依存します。(arxiv.org)
Link to this section現実世界の例#
- カスタマーサポートアシスタント: 長年蓄積されたチケットを与えられたチャットボットは、古いポリシーを優先したり、最近のアカウント更新を見落としたりする可能性があります。LongMemEval conversational memoryやマルチモーダルなLoCoMo benchmarkを用いた研究は、長い対話履歴の抽出、更新、およびそれに基づく推論が依然として困難であることを示しています。(arxiv.org)
- 外観検査エージェント: 工場を監視するvision-language modelは、すべてのフレーム、検知結果、メンテナンスログを1つのプロンプトに詰め込むと、信頼性が低下する可能性があります。より優れたワークフローでは、言語モデルによる推論を行う前に、Ultralytics YOLO26を使用して簡潔な視覚的事実を抽出します。
- コーディングエージェント: リポジトリ全体、すべてのツール定義、および完全なターミナルの履歴を読み込むと、現在の目的が見えなくなることがあります。Anthropic’s context-engineering guidanceはコンテキストを厳選することを推奨しており、同社のAgent Skills approachでは、詳細なリソースは必要な場合にのみ読み込まれます。(anthropic.com)
このYOLO predict workflowは、未加工の検知結果をコンパクトで構造化されたコンテキストに変換する方法を示しています。
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)Link to this sectionContext Rotを軽減する方法#
- 関連する証拠のみを検索する: すべての利用可能なドキュメントを送る代わりに、semantic chunkingとrerankerを使用してください。
- 古い情報を圧縮する: 長い履歴を、検証済みの要約、決定事項、未解決のタスクに置き換えてください。研究によれば、検索が成功した後であっても、入力の長さがパフォーマンスを低下させる可能性があることが示唆されています。(arxiv.org)
- 安定したプレフィックスを維持する: OpenAI prompt cachingやGemini context cachingは、繰り返し処理のコストを削減できますが、キャッシュ単体ではコンテキストの品質は向上しません。
- スライディングウィンドウを使用する: Googleは、context-window compression for long live sessionsを推奨しており、最近の情報を保持しつつ古いトークンを破棄する方法をとっています。(ai.google.dev)
- 現実的な長さで評価する: model monitoringを適用し、open context rot toolkitを使用して制御されたテストを再現してください。
Context rotは、根拠のない出力を生成する「ハルシネーション」、トレーニング中にモデルの知識が変化する「破滅的忘却」、そして運用時の入力の変化を反映する「データドリフト」とは異なります。Context rotは主に推論時のコンテキスト選択と推論の失敗であり、効果的なcontext engineeringがその主な防御策となります。
