Licenciar o YOLO
Voltar ao glossário da Ultralytics

Large Vision Models (LVM)

Os modelos de visão de grande escala são redes de visão com centenas de milhões a milhares de milhões de parâmetros, pré-treinadas em grandes coleções de imagens para servir várias tarefas.

Um modelo de visão de grande escala (LVM) é uma rede neural para imagens e vídeo com centenas de milhões a milhares de milhões de parâmetros, pré-treinada com milhões a milhares de milhões de imagens para que um único modelo sirva para muitas tarefas visuais. É o equivalente visual de um modelo de linguagem de grande escala e um tipo de modelo fundacional: o pré-treino é sobretudo auto-supervisionado ou fracamente supervisionado, e o modelo resultante é adaptado para classificação, deteção, segmentação, profundidade ou recuperação com poucos ou nenhuns dados rotulados. Os LVMs são, na sua maioria, transformers de visão, cuja precisão continua a melhorar com o aumento do tamanho do modelo e da quantidade de dados, seguindo as mesmas leis de escala observadas nos modelos de linguagem. Entre os exemplos conhecidos estão o ViT-22B da Google, com 22 mil milhões de parâmetros, os modelos DINOv2 e DINOv3 da Meta e o Segment Anything Model da Meta.

Como se treinam modelos de visão grandes#

Os rótulos não são escaláveis para milhares de milhões de imagens, pelo que os LVMs aprendem principalmente a partir das próprias imagens ou de pares de texto pouco rigorosos. O DINOv2, lançado pela Meta em 2023, usa autodestilação: treina uma rede aluna para corresponder às saídas de um professor em recortes diferentes da mesma imagem. O maior modelo tem 1,1 mil milhões de parâmetros e foi treinado com 142 milhões de imagens selecionadas; em 2025, o DINOv3 ampliou a abordagem para 7 mil milhões de parâmetros e 1,7 mil milhões de imagens. Os autoencoders mascarados adotam outra abordagem à aprendizagem auto-supervisionada: ocultam a maioria dos recortes de uma imagem e treinam o modelo para os reconstruir. A aprendizagem contrastiva de imagem e texto, como no CLIP e no SigLIP, treina um codificador de imagens para corresponder às legendas e produz backbones de visão reutilizados por muitos modelos multimodais. O Segment Anything Model da Meta aprendeu segmentação orientável por prompts a partir do conjunto de dados SA-1B, com 1,1 mil milhões de máscaras em 11 milhões de imagens.

O modelo que deu ao termo o seu sentido mais literal, o LVM de Bai e colegas, desenvolvido na UC Berkeley e na Johns Hopkins em 2023, converte imagens, fotogramas de vídeo e anotações, como máscaras de segmentação, em «frases visuais» de tokens discretos e treina com 420 mil milhões desses tokens por previsão do token seguinte, sem usar texto. Durante os testes, resolve tarefas através de prompts visuais: recebe alguns pares de imagens de entrada e saída de exemplo e continua a sequência com a saída para uma nova imagem.

Adaptar LVMs a tarefas#

Raramente se usa um LVM pré-treinado tal como está. Sem dados rotulados, o modelo funciona em modo zero-shot através dos seus próprios prompts, como cliques no SAM, ou através de embeddings de imagens comparados para recuperação e eliminação de duplicados. Com alguns rótulos, a sondagem linear treina uma pequena cabeça sobre características congeladas; é assim que se avaliam normalmente as características do DINOv2 e do DINOv3 para estimar profundidade e fazer segmentação. Em alternativa, o ajuste fino atualiza o próprio backbone. Quando o destino é um telemóvel, uma câmara ou um robô, o LVM rotula os dados ou ensina um modelo compacto por destilação de conhecimento.

A função auto_annotate da Ultralytics segue esse último caminho: combina um detector YOLO26 com o SAM da Meta para transformar caixas detectadas em rótulos de segmentação para treinar um modelo de segmentação menor. O SAM-b tem 93,7 milhões de parâmetros e o YOLO26n-seg tem 2,7 milhões, cerca de 35 vezes menos. A Ultralytics Platform aplica a mesma ideia a conjuntos de dados de detecção, nos quais modelos de visão orientados por classes rotulam as imagens usadas depois para treinar um modelo YOLO26.

LVMs, VLMs e modelos específicos para tarefas#

Um modelo de visão e linguagem liga um codificador de visão, muitas vezes um LVM, a um modelo de linguagem para que este possa responder por texto a perguntas sobre imagens; por si só, um LVM produz características, máscaras ou imagens. Os modelos específicos para tarefas, como as redes de deteção de objetos, são treinados para uma tarefa e um conjunto fixo de classes, o que os mantém pequenos e rápidos o suficiente para a inferência em tempo real em dispositivos de IA de periferia. Os modelos de visão grandes trocam essa eficiência por abrangência: um único backbone DINOv3 congelado foi avaliado em classificação, deteção, segmentação, estimativa de profundidade e correspondência 3D, e a Meta também treinou uma versão com imagens de satélite para tarefas de análise de imagens de satélite, como o mapeamento da altura da copa das árvores.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina