Large Vision Models (LVM)
Большие модели компьютерного зрения — это нейросети со сотнями миллионов или миллиардами параметров, предварительно обученные на огромных коллекциях изображений для решения множества задач.
Большая модель компьютерного зрения (LVM) — это нейронная сеть для изображений и видео с сотнями миллионов или миллиардами параметров, предварительно обученная на миллионах или миллиардах изображений, чтобы одна модель подходила для множества визуальных задач. Это визуальный аналог большой языковой модели и разновидность базовой модели: предварительное обучение в основном проходит с самоконтролем или слабым контролем, после чего модель адаптируют для классификации, обнаружения, сегментации, оценки глубины или поиска, используя мало размеченных данных или обходясь без них. Большинство LVM — это визуальные трансформеры; их точность продолжает расти вместе с размером модели и объёмом данных, следуя тем же законам масштабирования, что и языковые модели. Из известных примеров можно назвать ViT-22B от Google с 22 миллиардами параметров, DINOv2 и DINOv3 от Meta и Segment Anything Model от Meta.
Как обучают большие модели компьютерного зрения#
Разметка не масштабируется до миллиардов изображений, поэтому LVM учатся главным образом на самих изображениях или на слабо связанных с ними текстах. Вышедшая в 2023 году DINOv2 от Meta использует самодистилляцию: сеть-ученик обучается воспроизводить выходы сети-учителя для разных фрагментов одного изображения. В крупнейшей модели 1,1 миллиарда параметров; она обучена на 142 миллионах отобранных изображений. В 2025 году DINOv3 масштабировала этот подход до 7 миллиардов параметров и 1,7 миллиарда изображений. Маскированные автоэнкодеры используют другой подход к обучению с самоконтролем: скрывают большую часть фрагментов изображения и обучают модель восстанавливать их. При контрастивном обучении на изображениях и тексте, как в CLIP и SigLIP, энкодер изображений обучается сопоставлять изображения с подписями, в результате чего создаются визуальные основы, которые используют многие мультимодальные модели. Segment Anything Model от Meta обучалась сегментации по запросу на наборе данных SA-1B, содержащем 1,1 миллиарда масок для 11 миллионов изображений.
Модель, наиболее точно соответствующая этому термину, — LVM Бай и его коллег, созданная в 2023 году в Калифорнийском университете в Беркли и Университете Джонса Хопкинса. Она преобразует изображения, видеокадры и аннотации, например маски сегментации, в «визуальные предложения» из дискретных токенов и обучается на 420 миллиардах таких токенов, предсказывая следующий токен без использования текста. Во время тестирования модель решает задачи с помощью визуальных подсказок: получив несколько пар входных и выходных изображений-примеров, она продолжает последовательность выходным изображением для нового изображения.
Адаптация LVM для решения задач#
Предварительно обученную LVM редко используют без изменений. Без размеченных данных модель работает в режиме классификации без примеров, используя собственные подсказки, например клики для SAM, или сравнивает эмбеддинги изображений для поиска и удаления дубликатов. При наличии некоторой разметки линейное зондирование обучает небольшую выходную головку на замороженных признаках. Так обычно оценивают признаки DINOv2 и DINOv3 при оценке глубины и сегментации. Другой вариант — дообучить саму основу модели. Если модель предназначена для телефона, камеры или робота, LVM может размечать данные или обучать компактную модель с помощью дистилляции знаний.
Функция Ultralytics auto_annotate использует именно этот подход: объединяет детектор YOLO26 с моделью Meta SAM, чтобы преобразовывать обнаруженные боксы в метки сегментации для обучения меньшей модели сегментации. SAM-b содержит 93,7 миллиона параметров, а YOLO26n-seg — 2,7 миллиона, то есть примерно в 35 раз меньше. Ultralytics Platform применяет ту же идею к наборам данных обнаружения: визуальные модели, работающие по названиям классов, размечают изображения, на которых затем обучается модель YOLO26.
LVM, VLM и специализированные модели#
Модель «зрение — язык» соединяет энкодер зрения, часто представляющий собой LVM, с языковой моделью, чтобы отвечать на вопросы об изображениях текстом. Сама по себе LVM выдаёт признаки, маски или изображения. Специализированные модели, например сети обнаружения объектов, обучаются для одной задачи и фиксированного набора классов. Благодаря этому они остаются достаточно компактными и быстрыми для инференса в реальном времени на устройствах периферийного ИИ. Большие модели компьютерного зрения жертвуют такой эффективностью ради универсальности: замороженную основу DINOv3 оценивали на классификации, обнаружении, сегментации, оценке глубины и установлении 3D-соответствий. Meta также обучила версию на спутниковых снимках для задач анализа спутниковых изображений, например картирования высоты лесного полога.










