Longformer

롱포머는 변형된 트랜스포머 아키텍처로 을 수정한 것으로, 긴 데이터 시퀀스를 효율적으로 처리하여 기존 모델의 입력 길이 제한을 극복하도록 설계되었습니다. 같은 BERT. 표준 트랜스포머는 강력하지만, 메모리 사용량이 시퀀스 길이에 따라 4배로 늘어나기 때문에 수백 단어가 넘는 문서에는 계산 비용이 많이 듭니다. 롱포머는 이 문제를 해결하기 위해 선형적으로 확장되는 선형적으로 확장하여 수천 개의 토큰으로 구성된 문서를 처리할 수 있습니다. 이러한 기능 덕분에 롱포머는 최신 자연어 처리(NLP) 법률 계약서 분석, 책 요약, 게놈 데이터 처리 등 방대한 텍스트가 포함된 작업의 초석이 되는 기술입니다.

아키텍처: 드문 관심

롱포머의 핵심 혁신은 표준 모델에서 사용되는 완전한 자기 주의에서 벗어난 것입니다. 딥러닝(DL) 모델에서 벗어난 것입니다. 기존 설정에서는 모든 토큰이 다른 모든 토큰에 주의를 기울여 조밀한 연결망을 만들어 메모리를 빠르게 고갈시킵니다. 롱포머 는 이를 보다 효율적이고 희박한 접근 방식으로 대체하여 높은 성능을 유지하면서도 계산 복잡성을 줄입니다.

• 슬라이딩 창 주의: 로컬 연결성에서 영감을 받은 컨볼루션 신경망(CNN)의 로컬 연결성에서 영감을 받은 롱포머는 각 토큰이 바로 옆의 토큰에만 관심을 기울이는 슬라이딩 윈도우를 사용합니다. 이는 구문과 문법을 이해하는 데 필수적인 구문과 문장 구조를 이해하는 데 필수적인 로컬 컨텍스트를 포착합니다.
• 글로벌 관심: 문서의 더 넓은 맥락을 이해하기 위해 특정 토큰이 지정됩니다. 을 지정하여 전체 시퀀스에 주의를 기울입니다. 이를 통해 모델은 다음과 같은 작업을 수행할 수 있습니다. 질문 답변 또는 분류 전체 입력의 정보를 집계하여 로컬 세부 사항과 글로벌 이해 사이의 간극을 좁히고 격차를 해소합니다.

이 하이브리드 메커니즘을 통해 연구자들은 표준 하드웨어에서 최대 4,096개 이상의 토큰 염기서열을 처리할 수 있습니다, 분석에 사용할 수 있는 컨텍스트 창을 분석할 수 있습니다.

실제 애플리케이션

긴 염기서열을 잘라내지 않고 분석할 수 있는 기능은 데이터의 연속성이 중요한 다양한 분야에서 새로운 가능성을 열어주었습니다. 새로운 가능성을 열었습니다.

• 법률 및 재무 요약: 전문가는 종종 긴 계약서나 연례 보고서에서 인사이트를 추출해야 합니다. 인사이트를 추출해야 하는 경우가 많습니다. 오랜 역사를 자랑하는 고급 텍스트 요약 도구로 전체 문서를 한 번에 전체 문서를 한 번에 소화할 수 있는 고급 텍스트 요약 도구를 제공하여 계약서 마지막에 있는 중요한 조항을 서론과 함께 서론.
• 게놈 연구: 생물정보학 분야에서 과학자들은 다음을 분석합니다. DNA 서열을 분석합니다. 매우 긴 생물학적 텍스트 문자열을 분석합니다. 롱포머는 유전자 기능을 파악하고 단백질 구조를 예측하는 데 도움을 줍니다. 유전자 코드에 내재된 장거리 종속성을 모델링하여 유전자 기능을 파악하고 단백질 구조를 예측하는 데 도움을 줍니다. 표준 대규모 언어 모델(LLM)로는 어려웠던 작업을 지원합니다.

롱포머와 관련 개념의 구분

특정 프로젝트에 적합한 도구를 선택하려면 롱포머를 다른 아키텍처와 비교하는 것이 도움이 됩니다. 인공 지능(AI) 프로젝트.

• 트랜스포머: 원래 아키텍처는 완전한 연결성($O(n^2)$)을 제공하며 짧은 문장에는 이상적이지만 메모리가 많이 듭니다. 롱포머는 이를 $O(n)$ 복잡도로 근사화합니다.
• 리포머: 리포머: 롱포머와 마찬가지로 리포머 는 효율성을 목표로 하지만 다음을 사용하여 이를 달성합니다. 지역 민감 해싱(LSH)을 사용해 유사한 토큰을 그룹화하고 유사한 토큰과 가역적인 잔여 레이어를 그룹화합니다. 롱포머는 종종 엄격하게 정의된 로컬 컨텍스트(인접 단어)가 필요한 작업에 선호되는 반면, 리포머는 메모리가 절대적인 병목 현상일 때 유용합니다.
• 트랜스포머-XL: 이 모델 은 과거 세그먼트의 메모리를 유지하면서 재귀를 통해 길이를 처리합니다. 롱포머는 전체 긴 시퀀스를 동시에 처리하므로 문서 분류와 같이 자동 회귀가 아닌 작업에 유리할 수 있습니다.

효율적인 추론 예시

롱포머가 속도와 메모리를 위해 텍스트 처리를 최적화하는 것처럼, 최신 비전 모델은 이미지 처리를 최적화합니다. 다음 다음 예제에서는 Ultralytics YOLO11 을 사용하여 효율적인 추론을 보여줍니다. 이는 최적화된 아키텍처를 사용하여 복잡한 데이터 입력을 처리하는 개념과 유사합니다. 하드웨어 리소스에 과부하를 주지 않습니다.

from ultralytics import YOLO

# Load a YOLO11 model, optimized for efficiency similar to Longformer's design goals
model = YOLO("yolo11n.pt")

# Perform inference on an image URL
# The model processes the input effectively in a single pass
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Output the detection summary
for result in results:
    print(f"Detected {len(result.boxes)} objects.")

대용량 입력을 처리하는 데 필요한 메모리 공간을 줄임으로써 개발자는 더욱 정교한 정교한 AI 에이전트 및 분석 도구를 구축할 수 있습니다. 이러한 변화 선형 확장성을 향한 이러한 변화는 미래의 모델 배포에 필수적이며, 강력한 접근성과 효율성을 유지합니다.