컨텍스트 창

컨텍스트 창은 텍스트, 오디오 샘플 또는 시각적 데이터의 시퀀스 등의 최대 정보 양을 정의합니다. 머신 러닝(ML) 모델이 처리하고 최대 정보를 정의합니다. 모델의 단기 메모리 역할을 효과적으로 수행하는 이 고정된 범위는 시스템이 얼마나 많은 입력 시퀀스를 얼마나 많은 입력 시퀀스를 "볼 수 있는지"를 결정합니다. 예측할 수 있는 입력 시퀀스의 양을 결정합니다. 다음과 같은 영역에서 자연어 처리(NLP) 에서 비디오 이해에 이르기까지 다양한 영역에서 컨텍스트의 크기 창의 크기는 모델의 일관성 유지 능력에 직접적인 영향을 미치는 중요한 아키텍처 매개변수입니다, 장기적인 종속성을 이해하고 정확한 결과물을 생성하는 데 직접적인 영향을 미칩니다.

컨텍스트 메커니즘

다음과 같은 순차적 데이터를 위해 설계된 딥 러닝 아키텍처 순환신경망(RNN) 및 유비쿼터스 트랜스포머와 같은 순차적 데이터로 설계된 딥 러닝 아키텍처는 컨텍스트에 크게 의존합니다. 창 메커니즘에 크게 의존합니다. 다음과 같은 경우 대규모 언어 모델(LLM)이 텍스트를 생성할 때 현재 단어를 단독으로 분석하지 않고 문맥 창 내에서 앞의 단어를 평가하여 다음 토큰의 확률을 계산합니다.

자체 주의 메커니즘을 통해 모델은 이 창 내에서 입력 데이터의 중요도를 이 창 내에서 입력 데이터의 여러 부분의 중요도를 평가할 수 있습니다. 하지만 이 기능에는 계산 비용이 발생합니다. 표준 주의 메커니즘은 시퀀스 길이에 따라 4제곱으로 확장되므로, 창 크기를 두 배로 늘리면 창 크기를 두 배로 늘리면 필요한 메모리가 4배로 늘어날 수 있습니다. GPU. 다음과 같은 기관의 연구원들은 스탠포드 대학교와 같은 기관의 연구원들은 다음과 같은 최적화를 개발했습니다. 플래시 어텐션과 같은 최적화를 개발하여 이러한 비용을 완화하고, 이를 통해 훨씬 더 긴 컨텍스트 창을 통해 모델이 전체 문서를 처리하거나 긴 비디오 시퀀스를 분석할 수 있는 한 번에 처리할 수 있게 되었습니다.

실제 애플리케이션

컨텍스트 창의 실질적인 유용성은 다음과 같은 다양한 분야에 걸쳐 확장됩니다. 인공 지능(AI):

• 대화형 AI 및 챗봇: 최신 챗봇과 가상 비서는 컨텍스트 창을 사용하여 대화 스레드를 유지합니다. 창이 크면 상담원이 대화의 앞부분에서 언급된 세부 정보를 기억할 수 있으므로 반복을 줄이고 사용자 경험을 개선할 수 있습니다.
• 비디오 개체 추적: 에서 컴퓨터 비전에서 추적 알고리즘은 객체를 식별하고 여러 프레임에 걸쳐 객체의 동일성을 유지해야 합니다. 여기서 '컨텍스트'는 시간적 의미입니다. 모델은 과거 프레임의 정보를 사용하여 물체의 궤적을 예측하고 오클루전을 처리합니다. 그리고 Ultralytics YOLO11 아키텍처는 이 시간적 일관성을 활용하는 객체 추적 기능을 지원합니다 . 시간적 일관성을 활용하여 실시간 비디오 피드에서 움직임을 정확하게 모니터링할 수 있습니다.
• 재무 예측: 투자 알고리즘은 예측 모델링을 사용하여 시장 동향을 분석합니다. 이러한 모델은 과거 주가에 대한 특정 컨텍스트 창을 설정하여 패턴과 반복 주기를 식별할 수 있습니다. 미래 가격 변동과 관련된 패턴과 반복 주기를 식별할 수 있습니다. 알고리즘 트레이딩 전략의 핵심 요소입니다.

예시: 비디오 분석의 시간적 컨텍스트

컨텍스트 창은 텍스트 생성에서 자주 논의되지만, 비디오 분석에서는 개념적으로 매우 중요합니다. 컨텍스트는 프레임의 시퀀스입니다. 다음 Python 스니펫은 개체 추적에 Ultralytics 컨텍스트에 의존하는 Ultralytics YOLO11 모델을 오브젝트 추적에 사용하는 방법을 보여줍니다. 이 모델은 시간적 컨텍스트에 의존하여 비디오 스트림 전체에서 오브젝트 식별을 유지합니다.

from ultralytics import YOLO

# Load the YOLO11 model (nano version for speed)
model = YOLO("yolo11n.pt")

# Track objects in a video, using temporal context to maintain IDs
# The model processes frames sequentially, maintaining history
results = model.track(source="https://docs.ultralytics.com/modes/track/", show=True)

관련 개념 구분하기

개념을 완전히 이해하려면 컨텍스트 창을 머신 러닝에서 볼 수 있는 유사한 용어와 구별하는 것이 도움이 됩니다. 용어집에서 찾아볼 수 있습니다:

• 컨텍스트 창과 수용 필드 비교: 두 용어 모두 모델이 인식하는 입력 데이터의 범위를 의미하지만, 일반적으로 "수용 필드"는 다음과 같이 사용됩니다. 에서 컨볼루션 신경망(CNN) 에서 특정 뉴런에 영향을 미치는 이미지의 공간 영역을 설명하는 데 사용됩니다. 이와 대조적으로, "컨텍스트 창" 은 일반적으로 텍스트 길이 또는 동영상 길이와 같은 순차적 또는 시간적 범위를 의미합니다.
• 컨텍스트 창과 토큰화 비교: 토큰화는 입력을 더 작은 단위(토큰)로 분해하는 프로세스입니다. 컨텍스트 창 제한은 종종 토큰 단위로 표현되는 경우가 많습니다(예: "128k 토큰 제한"). 따라서 토큰라이저의 효율성은 토큰화 도구의 효율성은 고정된 컨텍스트 창에 얼마나 많은 실제 정보를 담을 수 있는지에 직접적인 영향을 미칩니다.
• 컨텍스트 창과 배치 크기 비교: 배치 크기는 모델 훈련 중에 병렬로 처리되는 독립적인 샘플의 수를 나타냅니다. 모델 훈련 중에 병렬로 처리되는 독립적인 샘플의 수를 의미하며, 컨텍스트 창은 단일 샘플의 순차적 차원에 따른 단일 샘플의 크기 또는 길이를 나타냅니다.

과제 및 최적화

최적의 컨텍스트 창 크기를 선택하려면 성능과 리소스 소비 사이의 절충점을 찾아야 합니다. 짧은 창이 짧으면 모델이 중요한 장거리 종속성을 놓칠 수 있으며, 이로 인해 이전 입력에 대한 '기억상실증'이 발생할 수 있습니다. 입력. 반대로 창이 지나치게 길면 추론 대기 시간을 증가시키고 상당한 메모리가 필요하므로 엣지 디바이스에서 모델 배포가 복잡해질 수 있습니다. 모델 배포를 복잡하게 만들 수 있습니다.

다음과 같은 프레임워크 PyTorch 및 TensorFlow 와 같은 프레임워크는 이러한 시퀀스를 관리할 수 있는 도구를 제공하며, 연구자들은 계속해서 컨텍스트 기능을 효율적으로 확장하는 방법을 계속 발표하고 있습니다. 예를 들어, 다음과 같은 기술이 있습니다. 검색 증강 생성(RAG) 와 같은 기술을 사용하면 무한히 큰 내부 컨텍스트 창 없이도 모델이 방대한 외부 벡터 데이터베이스에 액세스할 수 있습니다, 정적 지식과 동적 처리 사이의 격차를 해소할 수 있습니다. 앞으로 곧 출시 예정인 YOLO26과 같은 아키텍처는 시각적 컨텍스트가 엔드투엔드에서 엔드투엔드 처리 방식을 더욱 최적화하여 효율성을 더욱 높이는 것을 목표로 합니다.