Transformer

A Transformer is a deep learning architecture that relies on a mechanism called self-attention to process sequential input data, such as natural language or visual features. Originally introduced by Google researchers in the landmark paper Attention Is All You Need, the Transformer revolutionized the field of artificial intelligence (AI) by discarding the sequential processing limitations of earlier Recurrent Neural Networks (RNNs). Instead, Transformers analyze entire sequences of data simultaneously, allowing for massive parallelization and significantly faster training times on modern hardware like GPUs.

Link to this sectionTransformer 작동 원리#

Transformer의 핵심 혁신은 셀프 어텐션(self-attention) 메커니즘입니다. 이를 통해 모델은 입력 데이터의 서로 다른 부분이 상대적으로 얼마나 중요한지 가중치를 부여할 수 있습니다. 예를 들어, 문장에서 모델은 주변 맥락에 따라 'bank'라는 단어가 'river(강)'보다는 'money(돈)'와 더 밀접하게 연관되어 있음을 학습할 수 있습니다.

이 아키텍처는 일반적으로 두 가지 주요 구성 요소로 이루어져 있습니다:

• 인코더(Encoder): 입력 데이터를 풍부한 수치적 표현 또는 임베딩(embedding)으로 처리합니다.
• 디코더(Decoder): 인코더의 출력을 사용하여 번역된 문장이나 예측된 바운딩 박스와 같은 최종 결과를 생성합니다.

컴퓨터 비전(CV) 영역에서 모델은 주로 Vision Transformer(ViT)라는 변형을 사용합니다. 텍스트 토큰을 처리하는 대신 이미지를 고정된 크기의 패치(예: 16x16 픽셀)로 분할합니다. 이러한 패치는 평탄화되어 시퀀스로 처리되므로, 모델이 표준 합성곱 신경망(CNN)보다 더 효과적으로 이미지의 먼 부분 간의 관계를 이해하는 '전역 맥락(global context)'을 포착할 수 있게 합니다.

Link to this sectionTransformer와 관련 개념 비교#

Transformer 아키텍처를 관련 용어와 구분하는 것은 중요합니다:

• 어텐션 메커니즘(Attention Mechanism): 이는 데이터의 특정 부분에 집중하는 일반적인 개념입니다. Transformer는 어텐션 레이어를 중심으로 구축된 특정 아키텍처인 반면, 다른 모델들은 어텐션을 단순한 추가 요소로 사용할 수 있습니다.
• 거대 언어 모델(LLM): "GPT"와 같은 용어는 방대한 양의 텍스트로 학습된 특정 모델을 의미합니다. 거의 모든 현대 LLM은 기본 엔진으로 Transformer 아키텍처를 사용합니다.

Link to this section실제 애플리케이션 사례#

Transformer의 범용성은 다양한 산업 분야에서의 채택으로 이어졌습니다:

1. 의료 영상: 의료 AI 분야에서 Transformer는 의료 영상 분석과 같은 복잡한 작업에 사용됩니다. 전역 공간 관계를 이해하는 능력은 지역적 특징에 집중하는 CNN이 놓칠 수 있는 고해상도 MRI 또는 CT 스캔의 미세한 이상 징후를 감지하는 데 도움을 줍니다.

2. 자율 시스템: 자율 주행 차량의 경우 보행자 및 다른 차량의 궤적을 이해하는 것이 중요합니다. Transformer는 시간 프레임에 걸쳐 객체를 추적하고 미래의 움직임을 예측하여 안전한 주행을 보장함으로써 비디오 이해(video understanding) 분야에서 탁월한 성능을 발휘합니다.

Link to this sectionTransformer를 활용한 객체 탐지#

전통적으로 CNN이 객체 탐지 분야를 지배해 왔지만, Real-Time Detection Transformer(RT-DETR)과 같은 Transformer 기반 모델이 강력한 대안으로 부상했습니다. RT-DETR은 CNN 백본의 속도와 Transformer 디코딩 헤드의 정밀도를 결합했습니다.

그러나 순수 Transformer 모델은 계산 부담이 클 수 있습니다. 많은 엣지 애플리케이션의 경우, 효율적인 어텐션 메커니즘과 신속한 합성곱 처리를 결합한 YOLO26과 같은 고도로 최적화된 하이브리드 모델이 속도와 정확성 사이에서 더 우수한 균형을 제공합니다. 데이터셋 주석부터 모델 내보내기까지의 워크플로우를 간소화하는 Ultralytics Platform을 통해 이러한 모델의 학습 및 배포를 쉽게 관리할 수 있습니다.

Link to this sectionPython 예제: RT-DETR 사용하기#

다음 예제는 ultralytics 패키지 내에서 Transformer 기반 모델을 사용하여 추론을 수행하는 방법을 보여줍니다. 이 코드는 사전 학습된 RT-DETR 모델을 로드하고 이미지 내의 객체를 탐지합니다.

from ultralytics import RTDETR

# Load a pre-trained Real-Time Detection Transformer (RT-DETR) model
model = RTDETR("rtdetr-l.pt")

# Run inference on an image URL
# The model uses self-attention to identify objects with high accuracy
results = model("https://ultralytics.com/images/bus.jpg")

# Display the detection results with bounding boxes
results[0].show()

수학적 기초에 대한 추가 학습을 위해 PyTorch의 Transformer 레이어 문서는 기술적 깊이를 제공하며, IBM의 Transformer 가이드는 높은 수준의 비즈니스 관점을 제시합니다.