Large Vision Models (LVM)
대규모 비전 모델은 수억에서 수십억 개의 매개변수를 지닌 비전 네트워크로, 다양한 작업에 활용하기 위해 방대한 이미지 컬렉션으로 사전 학습됩니다.
대규모 비전 모델(LVM)은 수억~수십억 개의 파라미터를 갖춘 이미지 및 비디오용 신경망으로, 수백만~수십억 개의 이미지로 사전 학습하여 하나의 모델로 다양한 시각 태스크를 처리합니다. 대규모 언어 모델의 시각적 대응 모델이자 파운데이션 모델의 한 종류입니다. 사전 학습에는 주로 자기 지도 학습이나 약한 지도 학습을 사용하며, 완성된 모델은 레이블이 있는 데이터가 거의 또는 전혀 없어도 분류, 탐지, 세그멘테이션, 깊이 추정, 검색에 맞게 조정할 수 있습니다. LVM 대부분은 비전 트랜스포머이며, 모델 크기와 데이터가 늘수록 정확도가 향상되는 현상은 언어 모델에서 확인된 스케일링 법칙을 따릅니다. 잘 알려진 사례로는 220억 개의 파라미터를 가진 Google ViT-22B, Meta의 DINOv2와 DINOv3, Meta의 Segment Anything Model이 있습니다.
대규모 비전 모델의 학습 방식#
레이블을 수십억 개의 이미지 규모로 확장하기는 어려우므로 LVM은 주로 이미지 자체나 느슨하게 짝지어진 텍스트에서 학습합니다. Meta가 2023년에 공개한 DINOv2는 같은 이미지의 서로 다른 크롭에 대해 학생 네트워크가 교사 네트워크의 출력을 모방하도록 학습하는 자기 증류 방식을 사용합니다. 최대 모델은 11억 개의 파라미터를 갖추고 1억 4,200만 개의 선별된 이미지로 학습했으며, DINOv3는 2025년에 이 방식을 확장해 70억 개의 파라미터와 17억 개의 이미지를 사용했습니다. 마스크드 오토인코더는 이미지 패치 대부분을 가리고 이를 재구성하도록 모델을 학습하는 방식으로 자기 지도 학습을 수행합니다. CLIP과 SigLIP 등에서 사용하는 이미지-텍스트 대조 학습은 이미지 인코더가 캡션과 일치하도록 학습하며, 여러 멀티모달 모델이 재사용하는 비전 백본을 생성합니다. Meta의 Segment Anything Model은 1,100만 개 이미지에 포함된 11억 개의 마스크로 구성된 SA-1B 데이터셋을 사용해 프롬프트 기반 세그멘테이션을 학습했습니다.
이 용어를 가장 문자 그대로 구현한 모델인 Bai 등이 UC Berkeley와 Johns Hopkins에서 2023년에 개발한 LVM은 이미지, 비디오 프레임, 세그멘테이션 마스크 등의 주석을 이산 토큰으로 구성된 "시각적 문장"으로 변환한 뒤 텍스트 없이 다음 토큰 예측 방식으로 4,200억 개의 토큰을 학습합니다. 테스트 시에는 시각적 프롬프팅을 사용해 태스크를 해결합니다. 즉, 입력과 출력이 짝을 이룬 이미지 예시 몇 개를 제공하면 새 이미지에 대한 출력을 시퀀스의 다음 항목으로 생성합니다.
태스크에 맞춘 LVM 조정#
사전 학습된 LVM은 그대로 사용하는 경우가 드뭅니다. 레이블이 있는 데이터가 없으면 SAM의 클릭 입력처럼 자체 프롬프트를 통해 제로샷으로 작동하거나, 검색 및 중복 제거에 사용할 이미지 임베딩을 생성합니다. 레이블이 일부 있으면 고정된 특징을 기반으로 작은 헤드를 학습하는 선형 프로빙을 적용할 수 있습니다. DINOv2와 DINOv3의 특징은 일반적으로 깊이 추정과 세그멘테이션을 평가할 때 이런 방식으로 사용합니다. 또는 백본 자체를 업데이트하는 미세 조정을 적용할 수 있습니다. 대상이 휴대전화, 카메라, 로봇인 경우 LVM은 데이터를 레이블링하거나 지식 증류를 통해 소형 모델을 학습시킵니다.
Ultralytics auto_annotate 함수는 마지막 방식을 사용합니다. YOLO26 탐지기를 Meta의 SAM과 결합해 탐지된 박스를 분할 레이블로 변환하고, 이를 더 작은 분할 모델의 학습에 사용합니다. SAM-b의 파라미터는 9,370만 개이고 YOLO26n-seg의 파라미터는 270만 개로, 약 35배 적습니다. Ultralytics Platform은 탐지 데이터셋에도 같은 방식을 적용합니다. 클래스 프롬프트 기반 비전 모델이 이미지에 레이블을 지정하고, 이후 YOLO26 모델이 해당 데이터셋으로 학습합니다.
LVM, VLM 및 태스크 특화 모델 비교#
비전 언어 모델은 비전 인코더(대개 LVM)를 언어 모델에 연결해 이미지에 관한 질문에 텍스트로 답할 수 있게 합니다. LVM만으로는 특징, 마스크, 이미지를 출력합니다. 객체 탐지 네트워크와 같은 태스크 특화 모델은 하나의 태스크와 고정된 클래스 집합에 맞춰 학습하므로 엣지 AI 기기에서 실시간 추론을 수행할 수 있을 만큼 작고 빠릅니다. 대규모 비전 모델은 범용성을 위해 효율성을 일부 포기합니다. 고정된 DINOv3 백본 하나를 분류, 탐지, 세그멘테이션, 깊이 추정, 3D 대응 관계 태스크에서 평가했으며, Meta는 수관 높이 매핑 등의 위성 이미지 분석 태스크를 위해 위성 이미지로 학습한 버전도 개발했습니다.










