컨텍스트 창

컨텍스트 윈도우는 머신 러닝(ML) 의 기본 개념으로, 순차적인 데이터를 처리할 때 모델이 한 번에 고려할 수 있는 고정된 양의 정보를 의미합니다. 모델의 단기 메모리라고 생각하면 됩니다. 데이터가 텍스트이든, 주가의 연속이든, 동영상의 프레임이든, 컨텍스트 창은 모델이 현재 입력을 이해하고 정확한 예측을 하기 위해 얼마나 많은 최근 과거를 '볼 수 있는지'를 정의합니다. 이 메커니즘은 자연어 처리(NLP) 및 시계열 분석과 같이 문맥이 해석의 핵심이 되는 작업에 매우 중요합니다.

컨텍스트 창은 어떻게 작동하나요?

순환 신경망(RNN), 특히 트랜스포머와 같이 데이터를 순차적으로 처리하는 모델은 컨텍스트 창에 의존합니다. 모델이 데이터를 순차적으로 분석할 때는 해당 데이터 포인트 하나만 따로 떼어내어 보지 않습니다. 대신, 데이터 포인트를 특정 수의 선행 데이터 포인트와 함께 살펴보는데, 이 포인트 그룹이 컨텍스트 창입니다. 예를 들어, 언어 모델에서 문장의 다음 단어를 예측하기 위해 모델은 마지막 몇 개의 단어를 살펴봅니다. 고려하는 단어의 수는 문맥 창 크기에 따라 결정됩니다. 이는 모델이 순차적 정보를 이해하는 데 필수적인 종속성과 패턴을 포착하는 데 도움이 됩니다. 언어 모델 작동 방식에 대한 개요는 이 LLM 소개에서 확인할 수 있습니다.

실제 AI/ML 애플리케이션의 컨텍스트 창 예시

컨텍스트 창이라는 개념은 많은 AI 애플리케이션에 필수적인 요소입니다:

• 챗봇 및 가상 비서: 최신 챗봇은 컨텍스트 창을 사용하여 대화 기록을 유지합니다. 이를 통해 후속 질문을 이해하고, 이전 요점을 다시 참조하며, 반복적이거나 관련 없는 응답을 피하면서 보다 자연스럽고 일관된 상호 작용을 제공할 수 있습니다. Google의 Gemini와 같은 모델은 정교한 대화를 위해 큰 컨텍스트 창을 활용합니다.
• 재무 예측을 위한 시계열 분석: 재무 모델은 정의된 컨텍스트 윈도우 내에서 과거 주가, 경제 지표 또는 거래량의 시퀀스를 분석하여 미래의 시장 움직임을 예측합니다. 예측 기간의 크기에 따라 과거 데이터가 예측에 얼마나 영향을 미치는지가 결정됩니다. 금융 분야의 AI는 세심하게 조정된 컨텍스트 윈도우에 의존하는 경우가 많습니다.
• 예측 텍스트 알고리즘: 스마트폰에 입력하면 키보드가 문맥 창 내의 앞 단어에 따라 다음 단어를 제안하여 타이핑 속도와 정확도를 향상시킵니다. 이 기능은 작고 효율적인 컨텍스트 창을 직접 적용한 것입니다.

주요 고려 사항 및 관련 개념

적절한 컨텍스트 창 크기를 선택하려면 장단점을 고려해야 합니다. 창 크기가 클수록 더 많은 컨텍스트를 캡처할 수 있고 특히 장거리 종속성 이해가 필요한 작업의 경우 모델 정확도가 향상될 수 있습니다. 하지만 더 많은 메모리와 연산 능력을 요구하므로 학습 및 추론 속도가 느려질 수 있습니다. 카네기 멜론 대학교의 연구에 자세히 설명된 것처럼, 더 긴 컨텍스트를 더 효율적으로 처리하기 위해 Transformer-XL과 같은 기술이 개발되고 있습니다.

컨텍스트 창을 관련 용어와 구분하는 것이 유용합니다:

• 수용 필드: 개념적으로 유사하지만(출력에 영향을 미치는 입력 영역), 수용 필드는 일반적으로 컨볼루션 신경망(CNN)으로 처리되는 이미지와 같은 입력의 공간적 범위를 나타냅니다. 컨텍스트 창은 일반적으로 순차적 데이터(텍스트, 시계열, 비디오 프레임)에 적용됩니다.
• 시퀀스 길이: 많은 모델, 특히 트랜스포머에서는 컨텍스트 창 크기가 모델이 한 번에 처리할 수 있는 최대 시퀀스 길이를 직접 정의합니다. 더 긴 시퀀스는 특수 아키텍처를 사용하여 잘라내거나 처리해야 할 수 있습니다. 이는 시퀀스 간 모델과 매우 관련이 있습니다.

PyTorch ( 공식 PyTorch 사이트를 통해) 및 TensorFlow ( TensorFlow 공식 사이트에 자세히 나와 있음)와 같은 프레임워크는 컨텍스트 창이 핵심 매개변수인 모델을 구축하기 위한 도구를 제공합니다. 효율적인 모델 배포를 위해서는 종종 컨텍스트 처리를 최적화해야 하며, 이는 Ultralytics HUB와 같은 플랫폼을 통해 관리할 수 있습니다.