Self-Attention

Self-attention은 모델이 입력 시퀀스 내의 서로 다른 요소의 중요도를 상대적으로 평가할 수 있도록 하는 딥러닝의 핵심 메커니즘입니다. 데이터를 순차적으로 처리하거나 로컬 영역에만 집중하는 기존 아키텍처와 달리, self-attention을 사용하면 neural network가 전체 컨텍스트를 동시에 검사할 수 있습니다. 이 기능은 문장의 단어이나 이미지의 고유 영역과 같이 데이터의 먼 부분 사이의 복잡한 관계를 시스템이 식별하는 데 도움을 줍니다. 이는 generative AI 및 최신 인식 시스템의 엄청난 발전을 이끈 Transformer 아키텍처의 핵심 빌딩 블록 역할을 합니다.

Self-Attention의 작동 원리#

이 메커니즘은 각 입력 피처에 "attention score"라고도 하는 가중치를 할당하여 인지적 초점을 모방합니다. 이러한 점수를 계산하기 위해 모델은 일반적으로 embeddings로 표현되는 입력 데이터를 Query, Key, Value의 세 가지 고유한 벡터로 변환합니다.

• Query (Q): 나머지 시퀀스로부터 관련 컨텍스트를 찾으려는 현재 항목을 나타냅니다.
• Key (K): 시퀀스 내의 모든 항목에 대한 레이블이나 식별자 역할을 하며, 이와 쿼리가 매칭됩니다.
• Value (V): 집계될 항목의 실제 정보 내용을 포함합니다.

모델은 한 요소의 Query를 다른 모든 요소의 Key와 비교하여 호환성을 결정합니다. 이러한 호환성 점수는 softmax 함수를 사용하여 정규화되어 확률과 유사한 가중치를 생성합니다. 이 가중치는 Value에 적용되어 컨텍스트가 풍부한 표현을 생성합니다. 이 프로세스를 통해 Large Language Models (LLMs) 및 비전 시스템은 노이즈를 필터링하면서 중요한 정보 우선순위를 지정할 수 있습니다.

실제 애플리케이션 사례#

Artificial Intelligence (AI)의 다양한 영역에서 self-attention의 다재다능함으로 인해 광범위하게 채택되었습니다.

• Natural Language Processing (NLP): machine translation과 같은 작업에서 self-attention은 대명사를 그 지시 대상에 연결하여 모호성을 해결합니다. 예를 들어, "The animal didn't cross the street because it was too tired"라는 문장에서 모델은 self-attention을 사용하여 "it"을 "street"이 아니라 "animal"과 강하게 연관시킵니다. 이러한 컨텍스트 인식 기능은 Google Translate와 같은 도구에 전력을 공급합니다.
• Global Image Context: Computer Vision (CV)에서 Vision Transformer (ViT)와 같은 아키텍처는 이미지를 패치로 나누고 self-attention을 적용하여 장면을 전역적으로 이해합니다. 이는 객체 식별이 주변 환경 이해에 의존하는 복잡한 환경에서의 object detection에 매우 중요합니다.

관련 용어 구분#

흔히 비슷한 개념들과 함께 논의되지만, 이러한 용어들은 명확히 구분되는 기술적 정의를 가지고 있습니다:

• Attention Mechanism: 모델이 특정 데이터 부분에 집중할 수 있도록 하는 광범위한 기술 범주입니다. 여기에는 모델이 한 시퀀스(예: 디코더 출력)를 사용하여 다른 시퀀스(예: 인코더 입력)를 쿼리하는 Cross-Attention이 포함됩니다.
• Self-Attention: Query, Key, Value가 모두 동일한 입력 시퀀스에서 발생하는 특정 유형의 attention입니다. 이는 단일 데이터셋 내의 내부 종속성을 학습하도록 설계되었습니다.
• Flash Attention: Stanford University의 연구원들이 개발한 최적화 알고리즘으로, 수학적 출력을 변경하지 않고도 GPUs에서 self-attention 계산을 훨씬 더 빠르고 메모리 효율적으로 만듭니다.

코드 예제#

다음 Python 스니펫은 ultralytics 패키지에 포함된 Transformer 기반 객체 검출기인 RTDETR을 사용하는 방법을 보여줍니다. 표준 합성곱 네트워크와 달리 이 모델은 시각적 피처를 처리하기 위해 self-attention에 크게 의존합니다.

from ultralytics import RTDETR

# Load the RT-DETR model which utilizes self-attention for detection
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect objects with global context
# Self-attention helps the model understand relationships between distant objects
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of objects detected
print(f"Detected {len(results[0].boxes)} objects using Transformer attention.")

진화와 미래의 영향#

Self-attention은 이전 Recurrent Neural Networks (RNNs)를 방해했던 vanishing gradient 문제를 효과적으로 해결하여 대규모 foundation models의 학습을 가능하게 했습니다. 매우 효과적이지만 표준 self-attention의 계산 비용은 시퀀스 길이에 따라 이차적으로 증가합니다. 이를 해결하기 위해 현재 연구는 효율적인 선형 어텐션 메커니즘에 중점을 두고 있습니다.

Ultralytics는 이러한 발전 사항을 CNN의 속도와 어텐션의 컨텍스트 성능을 결합하여 뛰어난 real-time inference를 제공하는 YOLO26과 같은 최첨단 모델에 통합합니다. 이러한 최적화된 모델은 Ultralytics Platform을 통해 쉽게 학습 및 배포할 수 있으므로 차세대 지능형 애플리케이션을 구축하는 개발자의 워크플로가 간소화됩니다.