개혁자

리포머는 구글 AI 연구진이 개발한 효율적인 유형의 트랜스포머 모델입니다. 매우 긴 데이터 시퀀스를 처리하도록 설계되었으며, 이는 높은 메모리 사용량과 연산 요구 사항으로 인해 표준 트랜스포머 아키텍처에서 상당한 어려움을 겪는 문제입니다. 새로운 기술을 도입한 리포머는 단일 가속기에서 최대 100만 단어에 달하는 문맥 길이를 처리할 수 있어 책 전체나 고해상도 이미지 작업도 가능합니다. 이러한 효율성은 인공 지능(AI)에서 대규모 언어 모델(LLM) 과 기타 시퀀스 기반 작업의 기능을 발전시키는 데 핵심적인 역할을 합니다.

리포머가 효율성을 달성하는 방법

리포머의 효율성은 표준 주의 집중 메커니즘과 메모리 할당의 병목 현상을 해결하는 두 가지 주요 혁신에서 비롯됩니다:

• LSH(로컬리티에 민감한 해싱) 어텐션: 기존 트랜스포머는 시퀀스의 모든 단어 쌍에 대해 주의도 점수를 계산하는데, 시퀀스 길이가 길어질수록 계산 비용이 증가합니다. 리포머는 이 전체 주의도를 지역 민감도 해싱(LSH)을 사용한 근사치로 대체합니다. 이 기술은 유사한 단어를 버킷으로 그룹화하고 이 작은 그룹 내에서만 관심도를 계산하여 계산 부하를 획기적으로 줄여줍니다. 이 기술은 의미(또는 벡터 공간)가 가까운 단어는 같은 버킷에 해시될 가능성이 높다는 원리에 따라 작동합니다.
• 가역적 잔여 레이어: 메모리를 절약하기 위해 표준 신경망은 각 레이어의 활성화를 저장하여 역전파 중에 사용합니다. 이는 특히 심층 모델에서 많은 양의 메모리를 소모합니다. 리포머는 리버서블 레이어를 사용하여 훈련 중에 모든 레이어의 활성화를 후속 레이어의 활성화로부터 다시 계산할 수 있습니다. 따라서 활성화를 메모리에 저장할 필요가 없으므로 메모리 공간을 크게 줄이고 훨씬 더 큰 모델을 훈련할 수 있습니다. 이 개념은 원래의 리포머 연구 논문에 자세히 설명되어 있습니다.

애플리케이션

리포머는 긴 시퀀스를 처리할 수 있어 머신 러닝(ML)의 다양한 작업, 특히 자연어 처리(NLP) 등의 분야에 적합합니다:

• 긴 문서 분석: 전체 책, 긴 연구 논문 또는 문맥이 수천 또는 수백만 단어에 이르는 법률 문서에 대한 요약 또는 질문에 대한 답변. 예를 들어, 여러 장으로 구성된 기술 보고서의 간결한 텍스트 요약을 생성하는 데 리포머 모델을 사용할 수 있습니다.
• 유전체학: 분석 및 패턴 인식을 위해 긴 DNA 또는 단백질 서열을 처리하는 작업. 게놈 데이터는 수십억 개의 염기쌍으로 구성될 수 있으므로 Reformer는 패턴이나 돌연변이를 식별하는 데 이상적인 아키텍처입니다.
• 긴 형식의 미디어 처리: 음성 인식을 위한 긴 오디오 파일 분석, 확장된 구성을 기반으로 한 음악 생성 또는 장시간에 걸친 비디오 분석. 예를 들어 몇 시간 분량의 회의나 강의를 효율적으로 트랜스크립션하는 것이 가능합니다.
• 이미지 생성: 일부 접근 방식은 이미지를 픽셀 시퀀스로 취급하며, 특히 고해상도 이미지의 경우 더욱 그렇습니다. 리포머는 텍스트-이미지 생성 같은 작업에서 이러한 매우 긴 시퀀스를 처리할 수 있습니다.
• 확장된 시계열 분석: 수십 년에 걸친 주식 시장 추세를 예측하거나 장기 기후 데이터를 분석하는 등 매우 긴 시계열 데이터를 모델링합니다.

울트라틱스 YOLO와 같은 모델은 이미지에서 효율적인 객체 감지에 초점을 맞추며, 주로 컨볼루션 신경망(CNN)을 사용하거나 파이토치 같은 프레임워크로 구축된 RT-DETR과 같은 하이브리드 아키텍처를 사용하지만, 리포머에서 탐구한 계산 및 메모리 효율성 원칙은 딥러닝 분야 전반에 걸쳐 적용될 수 있습니다. 이러한 발전을 이해하면 더 뛰어난 성능과 접근성을 갖춘 AI 모델을 향한 혁신을 촉진하는 데 도움이 됩니다. Ultralytics HUB와 같은 플랫폼은 AI 개발과 모델 배포를 간소화하는 것을 목표로 합니다.

다른 긴 시퀀스 모델과의 비교

리포머는 표준 트랜스포머의 한계를 극복하기 위해 설계된 여러 모델 중 하나입니다. 다른 모델과 구별하는 것이 중요합니다:

• 롱포머: 리포머와 마찬가지로 롱포머는 긴 시퀀스를 위해 만들어졌습니다. 하지만 슬라이딩 창(로컬 관심)과 몇 개의 글로벌 관심 토큰을 결합한 다른 관심 패턴을 사용합니다. 따라서 로컬 컨텍스트가 가장 중요한 문서에 매우 효과적이지만, 멀리 떨어진 관계를 캡처하는 데 있어서는 리포머의 해싱 기반 접근 방식보다 유연성이 떨어집니다.
• Transformer-XL: 이 모델은 Transformer 아키텍처에 반복을 도입하여 텍스트의 한 세그먼트에서 다음 세그먼트로 정보가 흐르도록 합니다. Transformer-XL은 언어 모델링과 같은 자동 회귀 작업에 특히 효과적이지만, 리포머나 롱포머처럼 매우 긴 단일 입력을 한 번에 처리하도록 설계되지는 않았습니다.
• 표준 트랜스포머: 오리지널 트랜스포머 모델은 완전한 자기 주의를 사용하기 때문에 매우 효과적이지만, 이차적 복잡성으로 인해 수천 토큰 이상의 시퀀스에는 비실용적입니다. 리포머의 핵심적인 기여는 훨씬 더 긴 입력에 대해 트랜스포머와 같은 성능을 실현하는 것입니다. 더 많은 모델 비교는 문서에서 확인할 수 있습니다.