플래시 주의

플래시 어텐션은 트랜스포머 네트워크에서 사용되는 표준 어텐션 메커니즘을 구현하기 위해 고안된 매우 효율적인 알고리즘입니다. 플래시 어텐션은 새로운 유형의 어텐션이라기보다는 훨씬 더 적은 메모리 사용량으로 훨씬 더 빠르게 계산하는 획기적인 방법입니다. 이러한 최적화는 특히 자연어 처리(NLP) 와 컴퓨터 비전(CV)에서 대규모 모델을 훈련하고 실행하는 데 매우 중요합니다. 이 혁신은 '플래시어텐션' 백서에서 처음 자세히 설명되었습니다 : 스탠포드 대학교 연구진의 " FlashAttention: IO 인식을 통한 빠르고 메모리 효율적인 정확한 주의"라는 논문에서 처음 설명되었습니다.

플래시 어텐션 작동 방식

기존 주의 메커니즘의 주요 병목 현상은 계산 횟수가 아니라 GPU의 메모리 액세스 속도입니다. 표준 어텐션은 GPU의 고대역폭 메모리(HBM)에 대한 읽기 및 쓰기 작업을 여러 번 수행해야 하는데, 이는 GPU의 온칩 SRAM에 비해 상대적으로 느립니다. 플래시 어텐션은 이러한 메모리 전송을 최소화하기 위해 계산을 영리하게 재구성합니다. 이를 달성하는 방법은 다음과 같습니다:

• 타일링: 주의 집중도 계산에 관련된 큰 행렬을 작은 블록 또는 "타일"로 나누기.
• 커널 퓨전: 고속 SRAM 내에서 이러한 작은 타일을 단일 작업(융합 커널)으로 처리하고, 최종 결과를 HBM에 다시 쓰기 전에 필요한 모든 단계를 수행합니다.

이 접근 방식은 특히 긴 데이터 시퀀스를 처리할 때 메모리 비효율성과 표준 주의력 저하의 주요 원인인 HBM에서 방대한 중간 주의력 행렬을 생성하고 저장하는 것을 방지합니다.

플래시 어텐션과 표준 어텐션 비교

플래시 어텐션과 표준 어텐션은 수학적으로 동일한 결과를 산출하지만, 운영 효율성은 크게 다릅니다. 핵심적인 차이점은 하드웨어 인식에 있습니다. 표준 셀프 어텐션 메커니즘은 메모리에 종속되어 있어 메모리에 액세스할 수 있는 속도에 따라 속도가 제한됩니다. 플래시 어텐션은 GPU의 강력한 처리 코어를 더 잘 활용하는 컴퓨팅 바인딩 방식입니다. 따라서 모델 훈련과 실시간 추론을 크게 가속화하는 I/O 인식 알고리즘입니다.

YOLO12와 같은 일부 모델에는 플래시 어텐션을 사용하여 성능을 최적화할 수 있는 어텐션 중심 아키텍처가 도입되어 있습니다. 그러나 대부분의 애플리케이션의 경우, Ultralytics YOLO11과 같은 간결하고 효율적인 설계가 속도와 정확성 간의 보다 견고한 균형을 제공합니다.

실제 애플리케이션 및 하드웨어

플래시 어텐션의 효율성은 딥러닝의 상당한 발전을 가능하게 했습니다.

• 대규모 언어 모델(LLM) 훈련: OpenAI의 GPT 시리즈와 같은 모델을 훈련하는 데 중요한 역할을 합니다. 메모리 오버헤드를 줄임으로써 훨씬 더 긴 텍스트 시퀀스에 대해 이러한 모델을 훈련하여 컨텍스트 창을 확장하고 복잡한 내러티브를 이해하는 능력을 향상시킬 수 있습니다.
• 고해상도 이미지 처리: 컴퓨터 비전에서 모델은 인스턴스 분할이나 객체 감지와 같은 작업을 위해 고해상도 이미지를 분석할 수 있습니다. 플래시 어텐션은 긴 이미지 패치 시퀀스를 관리하는 데 도움이 되므로 의료 영상이나 자율 주행과 같은 까다로운 분야에서 유용하게 사용할 수 있습니다.

플래시 어텐션을 사용하려면 특정 하드웨어가 필요하다는 점에 유의해야 합니다. 플래시 어텐션은 튜링, 암페어, 에이다 러브레이스, 호퍼 시리즈 등 최신 NVIDIA GPU의 메모리 아키텍처를 활용하도록 설계되었습니다. PyTorch와 같은 최신 머신 러닝 프레임워크와 Hugging Face에서 사용할 수 있는 도구는 플래시 어텐션을 통합 지원하므로 개발자가 더 쉽게 액세스할 수 있습니다.