자기 주의

자기 주의는 모델이 단일 입력 시퀀스 내에서 여러 요소의 중요도를 평가할 수 있도록 하는 메커니즘입니다. 입력의 모든 부분을 동일하게 처리하는 대신 특정 요소를 처리할 때 모델이 가장 관련성이 높은 부분에 선택적으로 집중할 수 있게 해줍니다. 이 기능은 컨텍스트, 장거리 종속성, 데이터 내 관계를 이해하는 데 매우 중요하며, 특히 트랜스포머를 비롯한 많은 최신 인공 지능(AI) 아키텍처의 근간을 형성합니다. 이 기능은 자연어 처리(NLP) 분야에 혁명을 일으킨 저명한 논문 '주의력만 있으면 된다'에서 소개된 것으로 유명합니다.

셀프 어텐션의 작동 방식

자체 주의의 핵심은 현재 처리 중인 요소를 기준으로 입력 시퀀스의 다른 모든 요소에 '주의 점수'를 할당하는 방식으로 작동합니다. 이는 각 입력 요소에 대해 쿼리(Q), 키(K), 값(V)의 세 가지 벡터를 생성함으로써 이루어집니다.

1. 쿼리: 현재 '찾고 있는' 컨텍스트의 현재 요소를 나타냅니다.
2. 키: 쿼리가 관련 정보를 찾기 위해 비교할 수 있는 시퀀스의 모든 요소를 나타냅니다.
3. 값입니다: 관심도 점수에 따라 집계되는 각 요소의 실제 콘텐츠를 나타냅니다.

주어진 쿼리에 대해 메커니즘은 시퀀스에 있는 모든 키와의 유사도를 계산합니다. 그런 다음 이러한 유사도 점수는 가중치로 변환되어(종종 소프트맥스 함수를 사용하여) 각 요소의 값에 얼마나 중점을 두어야 하는지를 결정합니다. 쿼리의 최종 출력은 모든 값의 가중치 합계로, 전체 시퀀스의 컨텍스트가 보강된 해당 요소의 새로운 표현을 생성합니다. 이 프로세스는 대규모 언어 모델(LLM)이 작동하는 방식의 핵심적인 부분입니다. 이 Q-K-V 프로세스에 대한 훌륭한 시각적 설명은 Jay Alammar의 블로그와 같은 리소스에서 찾을 수 있습니다.

자기 주의 대 주의 메커니즘

자기 주의는 특정 유형의 주의 메커니즘입니다. 핵심적인 차이점은 쿼리, 키 및 값 벡터의 소스입니다.

• 자기 주의: 세 개의 벡터(Q, K, V)는 모두 동일한 입력 시퀀스에서 파생됩니다. 이를 통해 모델은 단일 문장이나 이미지 내의 내부 관계를 분석할 수 있습니다.
• 일반 관심(또는 교차 관심): 쿼리 벡터는 한 시퀀스에서 오는 반면 키 및 값 벡터는 다른 시퀀스에서 올 수 있습니다. 이는 기계 번역과 같은 시퀀스 간 작업에서 흔히 발생하며, 디코더(번역된 텍스트 생성)는 소스 텍스트에 대한 인코더의 표현에 주의를 기울입니다.

AI 및 컴퓨터 비전 분야의 애플리케이션

텍스트 요약 및 번역과 같은 작업을 위해 NLP에서 처음 대중화되었지만, 셀프 어텐션은 컴퓨터 비전(CV) 에서도 매우 효과적인 것으로 입증되었습니다.

• 자연어 처리: "로봇이 렌치가 무거워서 집어 들었다"와 같은 문장에서 자기 주의는 모델이 "로봇"이 아닌 "렌치"와 "그것"을 정확하게 연관시킬 수 있게 해줍니다. 이러한 이해는 BERT 및 GPT-4와 같은 모델의 기본입니다.
• 컴퓨터 비전: 비전 트랜스포머(ViT) 모델은 이미지의 패치에 자체 주의를 적용하여 이미지 분류와 같은 작업을 위해 시각적 장면의 여러 부분 간의 관계를 학습할 수 있습니다. 일부 객체 감지 모델에는 주의 기반 모듈을 통합하여 특징 맵을 세분화하고 정확도를 개선하기도 합니다. YOLO12와 같은 일부 모델은 주의력을 사용하지만, 대부분의 사용 사례에는 강력하고 효율적인 Ultralytics YOLO11을 권장합니다.

향후 방향

플래시어텐션과 희소주의 변형과 같은 방법 등 계산 효율성과 폭넓은 적용 가능성을 목표로 자기 주의 메커니즘을 개선하는 연구가 계속되고 있습니다. AI 모델이 점점 더 복잡해짐에 따라, 자기 주의는 로봇 공학 같은 전문 AI 애플리케이션부터 인공 일반 지능(AGI) 추구에 이르기까지 다양한 분야에서 발전을 주도하는 초석 기술로 남을 것으로 예상됩니다. 울트라틱스 허브와 같은 도구와 플랫폼은 이러한 고급 기술을 통합한 모델의 훈련과 배포를 용이하게 하며, 종종 허깅 페이스와 같은 리포지토리를 통해 제공되고 파이토치나 텐서플로와 같은 프레임워크로 개발됩니다.