Лицензия YOLO
Назад к глоссарию Ultralytics

Large Vision Models (LVM)

Большие модели компьютерного зрения — это нейросети со сотнями миллионов или миллиардами параметров, предварительно обученные на огромных коллекциях изображений для решения множества задач.

Большая модель компьютерного зрения (LVM) — это нейронная сеть для изображений и видео с сотнями миллионов или миллиардами параметров, предварительно обученная на миллионах или миллиардах изображений, чтобы одна модель подходила для множества визуальных задач. Это визуальный аналог большой языковой модели и разновидность базовой модели: предварительное обучение в основном проходит с самоконтролем или слабым контролем, после чего модель адаптируют для классификации, обнаружения, сегментации, оценки глубины или поиска, используя мало размеченных данных или обходясь без них. Большинство LVM — это визуальные трансформеры; их точность продолжает расти вместе с размером модели и объёмом данных, следуя тем же законам масштабирования, что и языковые модели. Из известных примеров можно назвать ViT-22B от Google с 22 миллиардами параметров, DINOv2 и DINOv3 от Meta и Segment Anything Model от Meta.

Как обучают большие модели компьютерного зрения#

Разметка не масштабируется до миллиардов изображений, поэтому LVM учатся главным образом на самих изображениях или на слабо связанных с ними текстах. Вышедшая в 2023 году DINOv2 от Meta использует самодистилляцию: сеть-ученик обучается воспроизводить выходы сети-учителя для разных фрагментов одного изображения. В крупнейшей модели 1,1 миллиарда параметров; она обучена на 142 миллионах отобранных изображений. В 2025 году DINOv3 масштабировала этот подход до 7 миллиардов параметров и 1,7 миллиарда изображений. Маскированные автоэнкодеры используют другой подход к обучению с самоконтролем: скрывают большую часть фрагментов изображения и обучают модель восстанавливать их. При контрастивном обучении на изображениях и тексте, как в CLIP и SigLIP, энкодер изображений обучается сопоставлять изображения с подписями, в результате чего создаются визуальные основы, которые используют многие мультимодальные модели. Segment Anything Model от Meta обучалась сегментации по запросу на наборе данных SA-1B, содержащем 1,1 миллиарда масок для 11 миллионов изображений.

Модель, наиболее точно соответствующая этому термину, — LVM Бай и его коллег, созданная в 2023 году в Калифорнийском университете в Беркли и Университете Джонса Хопкинса. Она преобразует изображения, видеокадры и аннотации, например маски сегментации, в «визуальные предложения» из дискретных токенов и обучается на 420 миллиардах таких токенов, предсказывая следующий токен без использования текста. Во время тестирования модель решает задачи с помощью визуальных подсказок: получив несколько пар входных и выходных изображений-примеров, она продолжает последовательность выходным изображением для нового изображения.

Адаптация LVM для решения задач#

Предварительно обученную LVM редко используют без изменений. Без размеченных данных модель работает в режиме классификации без примеров, используя собственные подсказки, например клики для SAM, или сравнивает эмбеддинги изображений для поиска и удаления дубликатов. При наличии некоторой разметки линейное зондирование обучает небольшую выходную головку на замороженных признаках. Так обычно оценивают признаки DINOv2 и DINOv3 при оценке глубины и сегментации. Другой вариант — дообучить саму основу модели. Если модель предназначена для телефона, камеры или робота, LVM может размечать данные или обучать компактную модель с помощью дистилляции знаний.

Функция Ultralytics auto_annotate использует именно этот подход: объединяет детектор YOLO26 с моделью Meta SAM, чтобы преобразовывать обнаруженные боксы в метки сегментации для обучения меньшей модели сегментации. SAM-b содержит 93,7 миллиона параметров, а YOLO26n-seg — 2,7 миллиона, то есть примерно в 35 раз меньше. Ultralytics Platform применяет ту же идею к наборам данных обнаружения: визуальные модели, работающие по названиям классов, размечают изображения, на которых затем обучается модель YOLO26.

LVM, VLM и специализированные модели#

Модель «зрение — язык» соединяет энкодер зрения, часто представляющий собой LVM, с языковой моделью, чтобы отвечать на вопросы об изображениях текстом. Сама по себе LVM выдаёт признаки, маски или изображения. Специализированные модели, например сети обнаружения объектов, обучаются для одной задачи и фиксированного набора классов. Благодаря этому они остаются достаточно компактными и быстрыми для инференса в реальном времени на устройствах периферийного ИИ. Большие модели компьютерного зрения жертвуют такой эффективностью ради универсальности: замороженную основу DINOv3 оценивали на классификации, обнаружении, сегментации, оценке глубины и установлении 3D-соответствий. Meta также обучила версию на спутниковых снимках для задач анализа спутниковых изображений, например картирования высоты лесного полога.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения