Large Vision Models (LVM)
Os modelos de visão de grande escala são redes de visão com centenas de milhões a milhares de milhões de parâmetros, pré-treinadas em grandes coleções de imagens para servir várias tarefas.
Um modelo de visão de grande escala (LVM) é uma rede neural para imagens e vídeo com centenas de milhões a milhares de milhões de parâmetros, pré-treinada com milhões a milhares de milhões de imagens para que um único modelo sirva para muitas tarefas visuais. É o equivalente visual de um modelo de linguagem de grande escala e um tipo de modelo fundacional: o pré-treino é sobretudo auto-supervisionado ou fracamente supervisionado, e o modelo resultante é adaptado para classificação, deteção, segmentação, profundidade ou recuperação com poucos ou nenhuns dados rotulados. Os LVMs são, na sua maioria, transformers de visão, cuja precisão continua a melhorar com o aumento do tamanho do modelo e da quantidade de dados, seguindo as mesmas leis de escala observadas nos modelos de linguagem. Entre os exemplos conhecidos estão o ViT-22B da Google, com 22 mil milhões de parâmetros, os modelos DINOv2 e DINOv3 da Meta e o Segment Anything Model da Meta.
Como se treinam modelos de visão grandes#
Os rótulos não são escaláveis para milhares de milhões de imagens, pelo que os LVMs aprendem principalmente a partir das próprias imagens ou de pares de texto pouco rigorosos. O DINOv2, lançado pela Meta em 2023, usa autodestilação: treina uma rede aluna para corresponder às saídas de um professor em recortes diferentes da mesma imagem. O maior modelo tem 1,1 mil milhões de parâmetros e foi treinado com 142 milhões de imagens selecionadas; em 2025, o DINOv3 ampliou a abordagem para 7 mil milhões de parâmetros e 1,7 mil milhões de imagens. Os autoencoders mascarados adotam outra abordagem à aprendizagem auto-supervisionada: ocultam a maioria dos recortes de uma imagem e treinam o modelo para os reconstruir. A aprendizagem contrastiva de imagem e texto, como no CLIP e no SigLIP, treina um codificador de imagens para corresponder às legendas e produz backbones de visão reutilizados por muitos modelos multimodais. O Segment Anything Model da Meta aprendeu segmentação orientável por prompts a partir do conjunto de dados SA-1B, com 1,1 mil milhões de máscaras em 11 milhões de imagens.
O modelo que deu ao termo o seu sentido mais literal, o LVM de Bai e colegas, desenvolvido na UC Berkeley e na Johns Hopkins em 2023, converte imagens, fotogramas de vídeo e anotações, como máscaras de segmentação, em «frases visuais» de tokens discretos e treina com 420 mil milhões desses tokens por previsão do token seguinte, sem usar texto. Durante os testes, resolve tarefas através de prompts visuais: recebe alguns pares de imagens de entrada e saída de exemplo e continua a sequência com a saída para uma nova imagem.
Adaptar LVMs a tarefas#
Raramente se usa um LVM pré-treinado tal como está. Sem dados rotulados, o modelo funciona em modo zero-shot através dos seus próprios prompts, como cliques no SAM, ou através de embeddings de imagens comparados para recuperação e eliminação de duplicados. Com alguns rótulos, a sondagem linear treina uma pequena cabeça sobre características congeladas; é assim que se avaliam normalmente as características do DINOv2 e do DINOv3 para estimar profundidade e fazer segmentação. Em alternativa, o ajuste fino atualiza o próprio backbone. Quando o destino é um telemóvel, uma câmara ou um robô, o LVM rotula os dados ou ensina um modelo compacto por destilação de conhecimento.
A função auto_annotate da Ultralytics segue esse último caminho: combina um detector YOLO26 com o SAM da Meta para transformar caixas detectadas em rótulos de segmentação para treinar um modelo de segmentação menor. O SAM-b tem 93,7 milhões de parâmetros e o YOLO26n-seg tem 2,7 milhões, cerca de 35 vezes menos. A Ultralytics Platform aplica a mesma ideia a conjuntos de dados de detecção, nos quais modelos de visão orientados por classes rotulam as imagens usadas depois para treinar um modelo YOLO26.
LVMs, VLMs e modelos específicos para tarefas#
Um modelo de visão e linguagem liga um codificador de visão, muitas vezes um LVM, a um modelo de linguagem para que este possa responder por texto a perguntas sobre imagens; por si só, um LVM produz características, máscaras ou imagens. Os modelos específicos para tarefas, como as redes de deteção de objetos, são treinados para uma tarefa e um conjunto fixo de classes, o que os mantém pequenos e rápidos o suficiente para a inferência em tempo real em dispositivos de IA de periferia. Os modelos de visão grandes trocam essa eficiência por abrangência: um único backbone DINOv3 congelado foi avaliado em classificação, deteção, segmentação, estimativa de profundidade e correspondência 3D, e a Meta também treinou uma versão com imagens de satélite para tarefas de análise de imagens de satélite, como o mapeamento da altura da copa das árvores.










