Reformer

리포머는 표준 트랜스포머 모델을 개선하기 위해 설계된 고효율 아키텍처입니다. 트랜스포머 모델을 개선하여 메모리 메모리 사용량과 계산 비용을 크게 줄인 효율적인 아키텍처입니다. 기존 트랜스포머는 자연어 처리(NLP), 메모리 사용량이 시퀀스 길이에 따라 4제곱으로 증가하여 긴 문서에서 실행하는 데 비용이 많이 들었습니다. 하지만 리포머는 이러한 병목 현상을 해결하여 단일 프로세서에서 최대 100만 개의 토큰을 처리할 수 있습니다. GPU (그래픽 처리 장치), 연구에 새로운 가능성을 열어줍니다. 딥 러닝(DL).

리포머의 핵심 혁신

리포머는 두 가지 주요 기술을 도입해 이차적 $O(L^2)가 아닌 선형 복잡도 $O(L)$를 달성합니다, 이전 버전보다 방대한 양의 데이터를 더 효과적으로 처리할 수 있습니다.

• 지역 민감 해싱(LSH) 주의: 표준 어텐션 메커니즘에서는 모든 토큰은 다른 모든 토큰에 주의를 기울이며, 이는 계산적으로 무겁습니다. 리포머는 LSH를 사용해 유사한 벡터들을 를 버킷으로 그룹화합니다. 그런 다음 이러한 버킷 내에서만 어텐션이 계산되어 전체 어텐션 매트릭스에 대한 근사치를 정확도는 높지만 비용은 훨씬 적게 듭니다. 이를 통해 모델은 입력의 관련 부분에 집중할 수 있습니다. 전체 시퀀스를 스캔하지 않아도 됩니다.
• 가역적 잔여 레이어: 심층 신경망을 훈련하려면 일반적으로 각 레이어의 각 레이어의 활성화를 저장하여 그라데이션을 계산해야 합니다. 역전파. 리포머는 리버서블 레이어를 활용하여 역전파 중에 활성화가 메모리에 저장되지 않고 즉시 재계산될 수 있습니다. 이러한 혁신 덕분에 메모리 효율성이 훨씬 더 높아져 훨씬 더 심층적인 네트워크를 훈련할 수 있습니다.

실제 애플리케이션

광범위한 컨텍스트를 처리할 수 있는 기능 덕분에 리포머는 데이터의 글로벌 구조를 이해해야 하는 데이터의 글로벌 구조를 이해하는 것이 중요한 작업에 매우 유용합니다.

• 게놈 분석: DNA 서열은 수백만 개의 의 염기쌍으로 구성되며, 멀리 떨어져 있는 요소들이 서로 영향을 미칠 수 있습니다. 리포머는 이러한 긴 염기 서열을 수집하여 다음과 같은 작업을 수행할 수 있습니다. 유전자 기능을 식별하거나 단백질 구조를 예측할 수 있으며, 이는 표준 모델로는 메모리 집약적인 작업인 경우가 많습니다. 같은 BERT.
• 긴 문서 요약: 법률 및 금융 분야에서는 전문가들이 종종 수백 페이지에 달하는 수백 페이지에 달하는 문서를 분석하는 경우가 많습니다. 리포머 기반 모델은 전체 장부나 법률 계약서를 한 번에 처리할 수 있습니다. 단일 패스로 텍스트 요약 또는 질문 답변, 장거리에서도 일관성을 유지하며 순환 신경망(RNN) 과 달리 먼 거리에서도 일관성을 유지할 수 있습니다.
• 고해상도 이미지 생성: 픽셀을 시퀀스로 취급함으로써 리포머는 다음과 같은 작업에 적용할 수 있습니다. 이미지 생성 작업에 적용하여 메모리 부족 없이 픽셀 단위로 일관된 고해상도 비주얼을 메모리 부족 없이 픽셀 단위로 생성할 수 있습니다.

관련 용어와의 차이점

리포머를 다른 시퀀스 모델과 구별하는 것이 중요합니다. 반면 롱포머도 긴 시퀀스를 대상으로 하지만, 글로벌 어텐션과 결합된 슬라이딩 윈도우 주의 메커니즘을 글로벌 주의와 결합하여 사용합니다. 이와 대조적으로 리포머는 해싱(LSH)에 의존합니다. 를 사용해 관련 토큰을 동적으로 찾습니다. 또한 YOLO11 은 속도에 최적화되어 있지만 컴퓨터 비전에 최적화되어 있는 반면, 리포머는 시퀀스 모델링의 메모리 효율성에 최적화되어 있습니다. 그러나 둘 다 제한된 하드웨어에서 성능을 극대화한다는 목표는 하드웨어에서 성능을 극대화한다는 목표를 공유합니다.

효율적인 추론 구현

리포머는 특정 아키텍처이지만 효율적인 추론이라는 개념은 AI에서 보편적인 개념입니다. 다음 예제는 효율적인 추론을 수행하는 방법을 보여줍니다. ultralytics 비디오 스트림의 형태인 시퀀스 데이터의 형태로, 속도와 메모리 최적화가 매우 중요합니다.

from ultralytics import YOLO

# Load the YOLO11n model, optimized for speed and efficiency
model = YOLO("yolo11n.pt")

# Run inference on a video source (treating frames as a sequence)
# stream=True uses a generator to process frames one by one, saving memory
results = model.predict(source="https://ultralytics.com/images/bus.jpg", stream=True)

for result in results:
    # Process each frame's detection results efficiently
    print(f"Detected {len(result.boxes)} objects in current frame.")

리포머와 같은 아키텍처를 이해하는 것은 인공지능의 한계를 뛰어넘는 AI의 진화를 탐색하는 데 필수적입니다. 경계를 넓히기 때문입니다. 인공 지능(AI). 자세히 알아보기 효율적인 모델 훈련에 대한 자세한 내용은 Ultralytics 가이드를 참조하세요.