Longformer

롱포머는 긴 시퀀스 데이터를 효율적으로 처리하도록 명시적으로 설계된 변형 트랜스포머 아키텍처로, BERT와 같은 기존 모델의 입력 길이 한계를 극복합니다. 표준 트랜스포머는 강력하지만, 메모리 사용량이 시퀀스 길이에 따라 이차적으로 증가하여 수백 단어 이상의 문서 처리 시 계산 비용이 매우 높아집니다. 롱포머는 선형적으로 확장되는 스파스 어텐션 메커니즘을 활용하여 이 문제를 해결합니다. 이를 통해 수천 개의 토큰으로 구성된 문서를 처리할 수 있습니다. 이러한 능력 덕분에 롱포머는 법률 계약서 분석, 도서 요약, 유전체 데이터 처리 등 방대한 텍스트를 다루는 현대 자연어 처리(NLP)작업의 핵심 기술로 자리매김했습니다.

아키텍처: 드문 관심

롱포머의 핵심 혁신은 표준 모델에서 사용되는 완전한 자기 주의에서 벗어난 것입니다. 딥러닝(DL) 모델에서 벗어난 것입니다. 기존 설정에서는 모든 토큰이 다른 모든 토큰에 주의를 기울여 조밀한 연결망을 만들어 메모리를 빠르게 고갈시킵니다. 롱포머 는 이를 보다 효율적이고 희박한 접근 방식으로 대체하여 높은 성능을 유지하면서도 계산 복잡성을 줄입니다.

• 슬라이딩 창 주의: 로컬 연결성에서 영감을 받은 컨볼루션 신경망(CNN)의 로컬 연결성에서 영감을 받은 롱포머는 각 토큰이 바로 옆의 토큰에만 관심을 기울이는 슬라이딩 윈도우를 사용합니다. 이는 구문과 문법을 이해하는 데 필수적인 구문과 문장 구조를 이해하는 데 필수적인 로컬 컨텍스트를 포착합니다.
• 글로벌 관심: 문서의 더 넓은 맥락을 이해하기 위해 특정 토큰이 지정됩니다. 을 지정하여 전체 시퀀스에 주의를 기울입니다. 이를 통해 모델은 다음과 같은 작업을 수행할 수 있습니다. 질문 답변 또는 분류 전체 입력의 정보를 집계하여 로컬 세부 사항과 글로벌 이해 사이의 간극을 좁히고 격차를 해소합니다.

이 하이브리드 메커니즘을 통해 연구자들은 표준 하드웨어에서 최대 4,096개 이상의 토큰 염기서열을 처리할 수 있습니다, 분석에 사용할 수 있는 컨텍스트 창을 분석할 수 있습니다.

실제 애플리케이션

긴 염기서열을 잘라내지 않고 분석할 수 있는 기능은 데이터의 연속성이 중요한 다양한 분야에서 새로운 가능성을 열어주었습니다. 새로운 가능성을 열었습니다.

• 법률 및 재무 요약: 전문가는 종종 긴 계약서나 연례 보고서에서 인사이트를 추출해야 합니다. 인사이트를 추출해야 하는 경우가 많습니다. 오랜 역사를 자랑하는 고급 텍스트 요약 도구로 전체 문서를 한 번에 전체 문서를 한 번에 소화할 수 있는 고급 텍스트 요약 도구를 제공하여 계약서 마지막에 있는 중요한 조항을 서론과 함께 서론.
• 게놈 연구: 생물정보학 분야에서 과학자들은 다음을 분석합니다. DNA 서열을 분석합니다. 매우 긴 생물학적 텍스트 문자열을 분석합니다. 롱포머는 유전자 기능을 파악하고 단백질 구조를 예측하는 데 도움을 줍니다. 유전자 코드에 내재된 장거리 종속성을 모델링하여 유전자 기능을 파악하고 단백질 구조를 예측하는 데 도움을 줍니다. 표준 대규모 언어 모델(LLM)로는 어려웠던 작업을 지원합니다.

롱포머와 관련 개념의 구분

특정 프로젝트에 적합한 도구를 선택하려면 롱포머를 다른 아키텍처와 비교하는 것이 도움이 됩니다. 인공 지능(AI) 프로젝트.

• Transformer: 원본 아키텍처는 완전한 연결성을 제공하며 짧은 문장에 이상적이지만 긴 입력에 대해서는 메모리 제약이 발생합니다. Longformer는 선형 복잡도로 이를 근사화합니다.
• 리포머: 리포머: 롱포머와 마찬가지로 리포머 는 효율성을 목표로 하지만 다음을 사용하여 이를 달성합니다. 지역 민감 해싱(LSH)을 사용해 유사한 토큰을 그룹화하고 유사한 토큰과 가역적인 잔여 레이어를 그룹화합니다. 롱포머는 종종 엄격하게 정의된 로컬 컨텍스트(인접 단어)가 필요한 작업에 선호되는 반면, 리포머는 메모리가 절대적인 병목 현상일 때 유용합니다.
• 트랜스포머-XL: 이 모델 은 과거 세그먼트의 메모리를 유지하면서 재귀를 통해 길이를 처리합니다. 롱포머는 전체 긴 시퀀스를 동시에 처리하므로 문서 분류와 같이 자동 회귀가 아닌 작업에 유리할 수 있습니다.

효율적인 추론 예시

롱포머가 속도와 메모리를 위해 텍스트 처리를 최적화하는 것처럼, 현대적인 비전 모델은 복잡한 입력을 효율적으로 처리하기 위해 이미지 처리를 최적화합니다. 다음 예시는 효율적인 추론을 보여주기 위해 Ultralytics 사용합니다. 이는 하드웨어 자원을 과부하시키지 않고 데이터를 처리하기 위해 최적화된 아키텍처를 사용하는 개념과 유사합니다.

from ultralytics import YOLO

# Load a YOLO26 model, optimized for speed and efficiency similar to Longformer's design goals
model = YOLO("yolo26n.pt")

# Perform inference on an image URL
# The model processes the input effectively in a single pass
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Output the detection summary
for result in results:
    print(f"Detected {len(result.boxes)} objects.")

대규모 입력 처리 시 필요한 메모리 사용량을 줄임으로써 롱포머(Longformer)와 같은 아키텍처는 개발자가 더 정교한 AI 에이전트와 분석 도구를 구축할 수 있게 합니다. 이러한 선형 확장성으로의 전환은 모델 배포의 미래에 필수적이며, 강력한 AI가 접근 가능하고 효율적으로 유지되도록 보장합니다.