컨텍스트 창

컨텍스트 윈도우는 머신 러닝(ML)의 기본 개념으로, 모델이 순차적 데이터를 처리할 때 한 번에 고려할 수 있는 고정된 정보 양을 나타냅니다. 모델의 단기 기억이라고 생각하면 됩니다. 데이터가 텍스트이든, 주가 시퀀스이든, 비디오의 프레임이든, 컨텍스트 윈도우는 모델이 현재 입력을 이해하고 정확한 예측을 하기 위해 얼마나 많은 최근 과거를 "볼" 수 있는지를 정의합니다. 이 메커니즘은 자연어 처리(NLP) 및 시계열 분석과 같이 컨텍스트가 해석의 핵심인 작업에 매우 중요합니다.

Context Window는 어떻게 작동하나요?

순환 신경망(RNN) 및 특히 Transformer와 같이 데이터를 순차적으로 처리하는 모델은 컨텍스트 창에 의존합니다. 모델이 시퀀스에서 데이터 조각을 분석할 때 해당 단일 데이터 포인트만 분리해서 보지 않습니다. 대신 특정 수의 이전 데이터 포인트와 함께 데이터 포인트를 봅니다. 이 포인트 그룹이 컨텍스트 창입니다. 예를 들어 언어 모델에서 문장의 다음 단어를 예측하기 위해 모델은 마지막 몇 단어를 봅니다. 고려하는 단어 수는 컨텍스트 창 크기에 따라 결정됩니다. 이는 모델이 순차적 정보를 이해하는 데 필수적인 종속성 및 패턴을 캡처하는 데 도움이 됩니다. 언어 모델 작동 방식에 대한 개요는 LLM 소개에서 확인할 수 있습니다.

실제 AI/ML 애플리케이션에서 컨텍스트 창의 예

컨텍스트 윈도우의 개념은 많은 AI 애플리케이션에서 핵심적인 요소입니다.

• 챗봇 및 가상 비서: 최신 챗봇은 대화 기록을 유지하기 위해 컨텍스트 윈도우를 사용합니다. 이를 통해 챗봇은 후속 질문을 이해하고, 이전 내용을 다시 언급하며, 반복적이거나 부적절한 응답을 피하면서 더욱 자연스럽고 일관성 있는 상호 작용을 제공할 수 있습니다. Google의 Gemini와 같은 모델은 정교한 대화를 위해 큰 컨텍스트 윈도우를 활용합니다.
• 금융 예측을 위한 시계열 분석: 금융 모델은 미래 시장 움직임을 예측하기 위해 정의된 컨텍스트 창 내에서 과거 주가, 경제 지표 또는 거래량의 시퀀스를 분석합니다. 창 크기는 예측에 영향을 미치는 과거 데이터의 양을 결정합니다. 금융 분야의 AI는 종종 세심하게 조정된 컨텍스트 창에 의존합니다.
• 예측 텍스트 알고리즘(Predictive Text Algorithms): 스마트폰에서 입력할 때 키보드는 문맥 창 내에서 앞 단어를 기반으로 다음 단어를 제안하여 입력 속도와 정확도를 향상시킵니다. 이 기능은 작고 효율적인 문맥 창의 직접적인 응용입니다.

주요 고려 사항 및 관련 개념

적절한 컨텍스트 창 크기를 선택하는 것은 트레이드오프를 포함합니다. 더 큰 창은 더 많은 컨텍스트를 캡처하고 특히 장거리 종속성 이해가 필요한 작업의 경우 모델 정확도를 향상시킬 수 있습니다. 그러나 더 많은 메모리와 계산 능력을 요구하여 훈련 및 추론 속도를 늦출 수 있습니다. Transformer-XL과 같은 기술은 Carnegie Mellon University의 연구에서 자세히 설명된 바와 같이 더 긴 컨텍스트를 보다 효율적으로 처리하기 위해 개발되고 있습니다.

컨텍스트 창(Context Window)을 관련 용어와 구별하는 것이 유용합니다.

• 수용 영역(Receptive Field): 개념적으로 유사하지만 (출력에 영향을 미치는 입력 영역), 수용 영역은 일반적으로 합성곱 신경망(CNNs)에서 처리하는 이미지와 같은 입력의 공간적 범위를 나타냅니다. 컨텍스트 윈도우는 일반적으로 순차적 데이터(텍스트, 시계열, 비디오 프레임)에 적용됩니다.
• 시퀀스 길이: 특히 트랜스포머 모델에서 컨텍스트 창 크기는 모델이 한 번에 처리할 수 있는 최대 시퀀스 길이를 직접적으로 정의합니다. 더 긴 시퀀스는 잘리거나 특수 아키텍처를 사용하여 처리해야 할 수 있습니다. 이는 Sequence-to-Sequence 모델과 관련이 높습니다.

PyTorch(공식 PyTorch 사이트를 통해) 및 TensorFlow(TensorFlow 공식 사이트에 자세히 설명되어 있음)와 같은 프레임워크는 컨텍스트 창이 핵심 파라미터인 모델을 구축하기 위한 도구를 제공합니다. 효율적인 모델 배포에는 컨텍스트 처리를 최적화하는 것이 필요한 경우가 많으며, 이는 Ultralytics HUB와 같은 플랫폼을 통해 관리할 수 있습니다.