Sparse Attention

희소 어텐션은 각 쿼리가 시퀀스의 모든 키가 아니라 선택된 일부 키에 대해서만 점수를 계산하는 어텐션 메커니즘의 한 계열입니다. N개의 토큰에 대한 완전한 셀프 어텐션은 헤드마다 N²개의 점수를 계산하므로 문서 길이가 두 배가 되면 어텐션 비용은 네 배가 됩니다. 반면 각 토큰이 k개의 다른 토큰에 어텐션하는 패턴은 N·k의 비용이 듭니다. 패턴은 로컬 윈도처럼 미리 고정하거나 각 쿼리에서 점수가 가장 높은 키를 선택하는 것처럼 콘텐츠에 따라 결정할 수 있습니다. OpenAI의 2019년 Sparse Transformer는 수만 단계 길이의 시퀀스를 모델링하기 위해 O(N√N)의 비용이 드는 스트라이드 패턴을 사용했습니다. 현재 대규모 언어 모델(LLM)은 100,000개가 넘는 토큰의 컨텍스트 윈도를 처리하기 위해 희소 레이어를 사용합니다.

일반적인 희소성 패턴#

고정 패턴은 점수를 계산할 쌍을 미리 정합니다. 슬라이딩 윈도 어텐션은 각 토큰이 바로 앞의 w개 토큰만 볼 수 있게 합니다. Mistral 7B는 4,096개 토큰 윈도를 사용하고, OpenAI의 오픈 가중치 gpt-oss 모델은 조밀한 레이어와 128개 토큰 윈도 레이어를 번갈아 사용합니다. 이는 GPT-3가 사용한 조밀한 레이어와 로컬 밴드형 레이어의 교차 구조와 같습니다. 윈도 레이어마다 정보를 추가로 w개 토큰만큼 전달하므로, 깊은 레이어 스택은 멀리 떨어진 토큰도 계속 연결합니다. 스트라이드 패턴은 이전 토큰 중 s번째 토큰을 추가해 한 레이어에서 정보가 먼 거리까지 전달되도록 합니다. 글로벌 토큰은 모든 위치에 어텐션하고 모든 위치에서 어텐션을 받습니다. Longformer는 분류 토큰과 같은 태스크 토큰을 글로벌 토큰으로 지정하고, BigBird는 무작위 연결도 추가합니다. 어텐션 싱크는 스트리밍 생성이 안정적으로 유지되도록 처음 몇 개의 토큰을 모든 쿼리에 노출합니다.

콘텐츠 기반 패턴은 데이터에서 쌍을 선택합니다. DeepSeek의 Native Sparse Attention(NSA, 2025)은 키 블록의 압축된 요약, 가장 관련성이 높은 블록의 선택, 슬라이딩 윈도를 결합하며, 이 모든 요소를 엔드투엔드 방식으로 학습합니다. DeepSeek-V3.2의 DeepSeek Sparse Attention은 각 쿼리에서 이전 토큰 모두에 점수를 매기는 소규모 "라이트닝 인덱서"를 실행한 다음, 상위 2,048개 토큰에 대해서만 완전한 어텐션을 계산합니다. 따라서 컨텍스트가 아무리 길어져도 쿼리별 주요 어텐션 비용은 일정하게 유지됩니다. 프로덕션 모델은 이러한 규칙을 흔히 결합합니다.

패턴을 실제 절감으로 구현하기#

조밀한 점수 행렬에 마스크를 적용해도 모든 점수를 계산하므로, 속도 향상을 위해서는 행렬의 비어 있는 타일을 건너뛰는 커널이 필요합니다. Flash attention 커널은 슬라이딩 윈도를 직접 지원하며, PyTorch의 FlexAttention은 모든 마스크 함수를 블록 희소 GPU 커널로 컴파일합니다. create_block_mask는 1,024개 토큰 윈도와 싱크 토큰 4개를 사용하는 커널이 건너뛰는 블록을 보여줍니다.

from torch.nn.attention.flex_attention import create_block_mask

seq_len, window, sinks = 8192, 1024, 4


def local_plus_sinks(b, h, q_idx, kv_idx):
    """Causal attention to the previous 1,024 tokens plus the first 4 tokens."""
    causal = q_idx >= kv_idx
    return causal & ((q_idx - kv_idx <= window) | (kv_idx < sinks))


# FlexAttention은 마스크를 128 x 128 블록으로 나누어 커널이 빈 블록을 건너뛸 수 있도록 합니다.
block_mask = create_block_mask(local_plus_sinks, B=None, H=None, Q_LEN=seq_len, KV_LEN=seq_len, device="cpu")
print(block_mask)

출력에는 8,192 × 8,192 점수 행렬에서 허용되는 쌍이 하나도 없는 128 × 128 블록의 비율인 sparsity=85.47%이 표시됩니다. 또한 윈도를 나타내는 대각선 밴드와 싱크 토큰을 나타내는 왼쪽 열의 패턴이 그려집니다. flex_attention이 torch.compile에서 실행되면 커널이 해당 블록을 완전히 건너뜁니다.

희소 어텐션과 관련 용어 비교#

• Flash attention: 빠른 온칩 메모리에서 작업을 타일 단위로 처리해 모든 쌍에 대한 정확한 어텐션을 계산하는 IO 인식 커널입니다. 이 커널의 타일은 블록 희소 커널이 건너뛰는 단위이기도 합니다.
• 선형 어텐션: 모든 쌍을 유지하되 소프트맥스를 특징 맵으로 대체하므로, 과거의 모든 키와 값이 고정 크기 상태로 압축됩니다.
• 변형 가능한 어텐션: 고정된 패턴 대신 각 쿼리가 특징 맵에서 학습된 오프셋에 있는 몇 개의 샘플링 지점에 어텐션하는 비전 메커니즘입니다.
• 전문가 혼합(MoE): 파라미터의 희소성으로, 각 토큰은 소수의 전문가 네트워크만 활성화하지만 어텐션 패턴은 조밀하게 유지합니다.

응용 분야#

긴 컨텍스트 언어 모델이 주요 활용 분야입니다. 희소 레이어는 연산량을 제한하고 윈도 레이어는 KV 캐시도 제한하므로, 한 번의 요청으로 긴 보고서를 요약하거나 대규모 코드베이스를 검색할 수 있습니다. BigBird는 일반적인 문장보다 훨씬 긴 수천 개 염기쌍의 DNA 시퀀스에 희소 패턴을 적용해 프로모터 영역을 예측했습니다. 컴퓨터 비전에서는 이미지 해상도가 높아질수록 토큰 수가 증가하므로 모델이 어텐션을 로컬 영역으로 제한합니다. Swin Transformer는 이동 윈도 안에서 어텐션을 수행합니다. 버펄로 대학교와 중국과학원 대학교 연구진이 개발하고 Ultralytics 패키지에서 실행되는 어텐션 중심 감지기 YOLO12는 영역 어텐션을 사용합니다. 스트라이드 16 백본 단계에서 640픽셀 이미지의 40 × 40 특징 맵을 각각 400개 토큰으로 구성된 가로 스트립 4개로 나누고, 각 스트립 안에서만 어텐션을 수행합니다. 이는 토큰 1,600개 전체에 완전한 어텐션을 적용할 때 필요한 256만 쌍의 4분의 1만 점수화합니다.