어텐션 메커니즘

주의 메커니즘은 인간의 인지 능력을 모방한 인간의 인지능력을 모방한 신경망으로 집중하여 모델이 입력 데이터의 특정 부분에 동적으로 우선순위를 지정할 수 있도록 하는 신경망의 정교한 기술입니다. 모든 정보를 동일한 가중치로 처리하는 대신 을 동일한 가중치로 처리하는 대신, 이 방법은 다양한 요소에 중요도 점수를 할당하여 관련 세부 정보를 증폭하는 동시에 노이즈를 억제합니다. 이 기능은 현대 인공지능의 초석이 되었습니다. 인공 지능(AI), 운전 다음과 같은 분야에서 획기적인 발전을 이끌고 있습니다. 자연어 처리(NLP) 에서 고급 컴퓨터 비전(CV)에 이르기까지 다양한 분야의 혁신을 주도하고 있습니다.

어텐션 작동 방식

기본적인 수준에서 주의 메커니즘은 일련의 가중치(종종 주의 점수라고도 함)를 계산합니다. 모델이 입력 시퀀스 또는 이미지의 각 부분에 얼마나 많은 "초점"을 두어야 하는지 결정합니다. 예를 들어 예를 들어 기계 번역의 경우 모델은 이러한 가중치를 사용하여 소스 언어의 단어를 대상 언어의 적절한 단어와 정렬합니다, 문장에서 멀리 떨어져 있더라도 말이죠.

주의 집중이 널리 채택되기 전에는 다음과 같은 아키텍처가 사용되었습니다. 순환 신경망(RNN) 과 같은 아키텍처는 긴 시퀀스로 인해 소실 그라데이션 문제, 시퀀스의 시작 부분의 정보가 가 모델이 끝에 도달할 때쯤이면 사라지는 사라지는 기울기 문제로 인해 긴 시퀀스에서는 어려움을 겪었습니다. Attention은 이 문제를 해결하기 위해 데이터의 모든 부분을 거리에 관계없이 직접 연결함으로써 이 문제를 해결합니다. 이 개념은 유명한 논문인 의 연구원들이 작성한 "주의만 있으면 충분하다"라는 논문에서 공식화되었습니다. 트랜스포머 아키텍처를 도입한 Google 연구원들이 발표한 논문에서 공식화되었습니다.

실제 애플리케이션

주의 집중 메커니즘은 오늘날 사용되는 많은 고성능 AI 시스템의 성공에 필수적인 요소입니다.

• 언어 번역 및 생성: 다음과 같은 서비스 Google 번역은 문장의 뉘앙스를 이해하기 위해 주의를 기울이며 구조의 뉘앙스를 이해하고 유창성과 문맥을 개선합니다, 다음과 같은 대규모 언어 모델(LLM)은 OpenAI의 GPT-4는 주의력을 활용하여 방대한 컨텍스트 창에서 오랜 시간 동안 일관성을 유지하기 위해 주의력을 활용합니다.
• 시각적 객체 감지: 컴퓨터 비전에서 주의는 모델이 이미지의 두드러진 영역에 집중할 수 있도록 도와줍니다. 이미지의 두드러진 영역에 집중할 수 있도록 도와줍니다. 다음과 같은 표준 컨볼루션 기반 모델은 Ultralytics YOLO11 과 같은 표준 컨볼루션 기반 모델은 매우 효율적이지만, 트랜스포머 기반 탐지기는 주의력을 사용하여 객체 간의 글로벌 관계를 명시적으로 모델링합니다. 이는 다음과 같은 경우에 매우 중요합니다. 자율주행 차량에 매우 중요합니다. 보행자, 신호등, 다른 차량을 즉시 구별해야 하는 자율주행 차량에 매우 중요합니다.
• 의료 영상: 의료 영상 분석 의료 영상 분석에서 주의 지도는 MRI 스캔에서 종양과 같은 특정 이상 징후를 강조 표시하여 진단에 가장 중요한 진단을 위한 영역. 다음과 같은 기관의 연구자들은 스탠포드 의과대학과 같은 기관의 연구원들은 이러한 애플리케이션을 계속 연구하고 있습니다.

주의 집중 대 자기 주의 집중 대 플래시 주의 집중

용어집에 나와 있는 '주의'와 특정 변형어를 구별하는 것이 도움이 됩니다.

• 주의 메커니즘: 입력 기능에 동적으로 가중치를 부여하는 광범위한 개념입니다. 이는 종종 다음을 의미합니다. 교차 주의, 즉 모델이 한 시퀀스(예: 질문)를 사용하여 다른 시퀀스(예: 문서)에 집중하는 것을 말합니다.
• 자기 주의: 특정 유형 모델이 내부 관계를 이해하기 위해 동일한 순서를 살펴보는 유형입니다. 예를 들어, 해결 라는 단어가 금융 기관이 아니라 강둑을 의미한다는 것을 주변 단어.
• 플래시 주의: I/O 인식 최적화 알고리즘으로, GPU에서 훨씬 더 빠르고 메모리 효율이 높은 컴퓨팅 주의를 제공합니다, 대규모 모델 훈련에 필수적입니다.

코드에서 주의 구현하기

다음과 같은 최신 프레임워크 PyTorch 및 TensorFlow 주의 계층에 대한 기본 지원을 제공합니다. 컴퓨터의 경우 비전 작업의 경우 ultralytics 라이브러리에는 다음과 같은 모델이 포함됩니다. RT-DETR에 기본적으로 구축된 트랜스포머 아키텍처를 기반으로 구축되어 높은 수준의 정확성.

다음 예제에서는 트랜스포머 기반 모델을 사용하여 추론을 로드하고 실행하는 방법을 보여줍니다. ultralytics 패키지입니다.

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model (Real-Time DEtection TRansformer)
# This architecture explicitly uses attention mechanisms for object detection.
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect objects
results = model("https://ultralytics.com/images/bus.jpg")

# Display the number of detected objects
print(f"Detected {len(results[0].boxes)} objects using attention-based detection.")

주목의 미래

주의 메커니즘의 진화로 인해 딥 러닝(DL). 혁신은 끊임없이 이러한 계산을 보다 효율적으로 수행하기 위해 실시간 추론을 위한 혁신이 끊임없이 등장하고 있습니다. As 딥마인드와 같은 그룹의 연구가 인공 지능의 경계를 넓히면서 인공 일반 지능(AGI)의 경계를 넓혀가는 가운데, 주목은 여전히 기본적인 요소입니다. 앞으로 곧 출시될 Ultralytics 플랫폼은 이러한 고급 아키텍처를 교육, 배포 및 모니터링할 수 있는 포괄적인 도구를 제공하여 개발자와 기업 모두의 워크플로우를 간소화할 것입니다.