コンテキストウィンドウ

コンテキスト・ウィンドウは、機械学習（ML）モデルが処理できる情報の最大量を定義する。 機械学習(ML)モデルが を定義する。実質的にモデルの短期記憶として機能するこの一定のスパンは、システムが入力シーケンスのどれだけの部分を「見る」ことができるかを決定する。 この固定スパンは、システムが入力シーケンスのどれだけの部分を「見る」ことができるかを決定する。 予測。以下のようなドメインにおいて 自然言語処理（NLP） からビデオ理解までの領域において、コンテキストウィンドウのサイズ ウィンドウのサイズは、モデルの一貫性を維持する能力に直接影響する重要なアーキテクチャ・パラメータです、 長期的な依存関係を理解し、正確な出力を生成する。

コンテクストのメカニズム

逐次データ用に設計されたディープラーニングアーキテクチャ、例えば リカレント・ニューラル・ネットワーク（RNN）や ユビキタスなTransformerなど、逐次データ用に設計されたディープラーニング・アーキテクチャは、コンテキスト・ウィンドウのメカニズムに大きく依存している。 ウィンドウ・メカニズムに大きく依存している。そのため ラージ・ランゲージ・モデル（LLM）がテキストを生成するとき、 LLMがテキストを生成する際、現在の単語を単独で分析するのではなく、コンテキストウィンドウ内で先行する単語を評価し、次のトークンの確率を計算する。 次のトークンの確率を計算する。

自己注意メカニズムにより、モデルはこのウィンドウ内で このウィンドウの中で、入力データのさまざまな部分の重要性を評価することができる。しかし、この機能には 計算コストがかかる。標準的な注意メカニズムはシーケンスの長さに対して二次関数的にスケールする。 つまり、ウィンドウサイズを2倍にすると、必要なメモリが4倍になる。 GPU.スタンフォード大学などの研究者は スタンフォード大学などの研究機関は フラッシュ・アテンション」などの最適化を開発した。 コンテクスト・ウィンドウを大幅に長くすることで、ドキュメント全体の処理や、長いビデオ・シーケンスの解析を1回の処理で行えるようにしている。 をシングルパスで処理できるようにした。

実際のアプリケーション

コンテキストウィンドウの実用性は、人工知能（AI）のさまざまな分野に広がっている。 人工知能（AI）のさまざまな分野に広がっている：

• 会話型AIとチャットボット現代の チャットボットと 最近のチャットボットやバーチャルアシスタントは ダイアログのスレッドを維持します。ウィンドウを大きくすることで、エージェントは会話の前のほうで言及された詳細を思い出すことができます。 繰り返しを減らし、ユーザーエクスペリエンスを向上させます。
• ビデオオブジェクトトラッキング：コンピュータビジョンでは コンピュータビジョンでは、トラッキングアルゴリズムは オブジェクトを識別し、複数のフレームにまたがってその同一性を維持しなければならない。ここでいう "コンテキスト "とは時間的なものである。 モデルは過去のフレームからの情報を使って物体の軌跡を予測し、オクルージョンを処理します。そのため Ultralytics YOLO11アーキテクチャは オブジェクト追跡機能をサポートしています。 リアルタイム・ビデオ・フィードの動きを正確に監視します。
• 金融予測：投資アルゴリズムは 予測モデリングを用いて市場動向を分析する。 過去の株価に特定のコンテクスト・ウィンドウを設定することで、これらのモデルは将来の値動きに関連するパターンや反復的なサイクルを特定することができる。 将来の値動きに関連するパターンや周期を特定することができる。 アルゴリズム取引戦略の中核をなす。

例題ビデオ分析における時間的コンテキスト

コンテキスト・ウィンドウはテキスト生成ではよく議論されるが、ビデオ解析では概念的に重要である。 コンテキストはフレームのシーケンスです。以下のPython スニペットは、Ultralytics YOLO11 モデルをオブジェクトトラッキングに使用する方法を示します。

from ultralytics import YOLO

# Load the YOLO11 model (nano version for speed)
model = YOLO("yolo11n.pt")

# Track objects in a video, using temporal context to maintain IDs
# The model processes frames sequentially, maintaining history
results = model.track(source="https://docs.ultralytics.com/modes/track/", show=True)

関連概念の区別

この概念を完全に理解するためには、コンテキスト・ウィンドウを機械学習用語集にある類似の用語と区別することが役に立つ。 学習用語集に見られる類似の用語と区別することが役に立つ：

• コンテキスト・ウィンドウとレセプティブ・フィールド： どちらもモデルが認識する入力データの範囲を指す言葉だが、「受容野」は通常 では 畳み込みニューラルネットワーク(CNN) において、特定のニューロンに影響を与える画像の空間領域を表すために使われる。対照的に、"コンテキスト・ウィンドウ" は通常、テキストの長さやビデオの時間など、連続的または時間的なスパンを意味する。
• コンテキスト・ウィンドウとトークン化の比較： トークン化とは、入力をより小さな単位（トークン）に分解することである。コンテキストウィンドウの制限は、しばしばこのトークンで表現される トークンで表現されることが多い（たとえば「128kトークン制限」）。したがって トークナイザーの効率は、実際の情報がどれだけ固定されたコンテキストウィンドウに収まるかに直接影響します。
• コンテキストウィンドウとバッチサイズの比較：バッチサイズ バッチサイズとは、モデル学習中に並列に処理される独立サンプルの数を指す。 モデル学習中に並行して処理される独立したサンプルの数を指す。 コンテキスト・ウィンドウは、その順次次元に沿った1つのサンプルのサイズまたは長さを指します。

課題と最適化

最適なコンテキスト・ウィンドウ・サイズの選択には、パフォーマンスとリソース消費のトレードオフが伴う。短い ウィンドウが短いと、モデルは重要な長距離依存関係を見逃し、以前の入力に関する「記憶喪失」につながる可能性がある。 につながる。逆に、ウィンドウを過度に長くすると、推論の待ち時間が長くなり 推論の待ち時間が長くなり メモリが必要となり、エッジデバイス エッジデバイスへのモデル展開が複雑になる。

以下のようなフレームワーク PyTorchや TensorFlowなどのフレームワークは、これらのシーケンスを管理するためのツールを提供しており、研究者はコンテキスト機能を効率的に拡張するためのメソッドを発表し続けている。 は、コンテキスト機能を効率的に拡張する手法を発表し続けている。例えば 検索拡張生成（RAG） のような技術は、無限に大きな内部コンテキスト・ウィンドウを必要とせずに、モデルが膨大な外部ベクトル・データベースにアクセスすることを可能にする、 静的知識と動的処理のギャップを埋める。将来的には YOLO26のようなアーキテクチャは、視覚的コンテキストの処理方法をさらに最適化することを目標としている。 エンド・ツー・エンドで処理する方法をさらに最適化し、効率をさらに高めることを目指している。