Grounding

A ancoragem consiste em relacionar palavras ou outros símbolos com aquilo a que se referem, para que a linguagem de um sistema de IA esteja ligada a evidências que o sistema possa apontar. Na visão por computador, a ancoragem visual consiste em localizar a região de uma imagem ou vídeo descrita por uma expressão: perante «o homem de casaco bege», um modelo com ancoragem devolve uma caixa delimitadora ou uma máscara à volta desse homem. Nos grandes modelos de linguagem (LLMs), a ancoragem consiste em ligar o texto gerado a documentos recuperados, resultados de pesquisa ou resultados de ferramentas, para que seja possível rastrear as afirmações até uma fonte. Ambos os sentidos remetem para o problema da ancoragem simbólica que o cientista cognitivo Stevan Harnad formulou em 1990: como é que os símbolos manipulados por um sistema podem ter significado para esse sistema, e não apenas para as pessoas que os leem.

Tarefas de ancoragem visual#

• Ancoragem de expressões: Localiza todos os objetos mencionados numa frase, como «uma mulher» e «o seu cão» numa legenda.
• Compreensão de expressões referenciais: Encontra o único objeto identificado por uma expressão, como «o segundo carro a contar da esquerda». Os benchmarks RefCOCO, RefCOCO+ e RefCOCOg reúnem expressões deste tipo para imagens COCO, e o RefCOCO+ proíbe palavras de localização como «esquerda», obrigando as expressões a descrever o aspeto.
• Deteção de vocabulário aberto: Encontra cada instância das categorias indicadas em texto no momento da inferência, para além da lista fixa de classes de um modelo de deteção de objetos de conjunto fechado.
• Legendas e respostas ancoradas: Um modelo de visão e linguagem (VLM) escreve uma descrição ou resposta e associa uma caixa a cada objeto mencionado.
• Ancoragem temporal e 3D: Encontra o momento de um vídeo descrito por uma frase ou o objeto numa digitalização 3D de uma sala.

Como funcionam os modelos de ancoragem#

Um modelo de ancoragem codifica o texto e a imagem, pontua cada região candidata da imagem em relação a cada expressão e mantém as regiões cujas pontuações ultrapassam um limiar. O treino alinha os dois espaços de embedding, muitas vezes com aprendizagem contrastiva em pares de imagem e texto, para que o embedding de «mochila azul» fique próximo das características de mochilas azuis. Os modelos mais avançados também fundem as modalidades desde cedo com atenção cruzada, permitindo que as palavras orientem as características visuais calculadas pela rede.

O GLIP reformulou a própria detecção de objetos como grounding de frases, permitindo treinar um único modelo com dados de detecção e grounding, e o Grounding DINO, que a Ultralytics Platform hospeda para anotação automática, aceita nomes de categorias ou expressões referenciais e alcançou 52,5 AP no COCO sem nenhum dado de treinamento do COCO. O SAM 3 da Meta, lançado em novembro de 2025 e hospedado na Platform como SAM 3 Text, segmenta e rastreia cada instância de uma frase nominal curta, como "ônibus escolar amarelo", em imagens e vídeos. Os VLMs generativos fazem grounding escrevendo coordenadas de caixas como texto ou como tokens de localização especiais junto com suas respostas. O VLM Leaderboard compara a precisão com que detectores de vocabulário aberto e VLMs generativos fazem grounding dos nomes de classes em conjuntos de dados de detecção do mundo real.

O YOLOE, apresentado por investigadores da Universidade de Tsinghua e disponível no pacote Ultralytics como YOLOE-26 sobre a arquitetura YOLO26, ancora nomes de categorias e expressões curtas em tempo real: um codificador de texto transforma cada expressão num embedding, e a cabeça de deteção compara-o com todas as regiões da imagem:

from ultralytics import YOLOE

# Carregar um modelo YOLOE-26 de deteção e segmentação com vocabulário aberto
model = YOLOE("yoloe-26s-seg.pt")

# O codificador de texto transforma cada expressão num embedding uma única vez, que passa a ser uma classe que o modelo consegue encontrar
model.set_classes(["bus", "person", "sunglasses", "traffic sign"])
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Imprime cada expressão ancorada com a respetiva caixa em píxeis (x1, y1, x2, y2)
for cls, box in zip(result.boxes.cls.tolist(), result.boxes.xyxy.tolist()):
    print(result.names[int(cls)], [round(v) for v in box])

Cada linha apresentada associa uma das expressões à região a que o YOLOE a ancorou, e uma expressão sem correspondência na imagem não produz qualquer resultado.

Aplicações#

• Robótica: Um robô instruído a «pegar na caneca vermelha ao lado do portátil» tem de ancorar essa expressão a um objeto e à respetiva posição 3D antes de planear a preensão.
• Anotação de dados: Detectores de vocabulário aberto propõem caixas e máscaras para novas classes a partir de uma lista de nomes; depois, os anotadores as corrigem em vez de desenhá-las do zero. A Ultralytics Platform anota automaticamente conjuntos de dados de detecção dessa forma antes de treinar um modelo YOLO26 com os rótulos corrigidos.
• Pesquisa em vídeo: A ancoragem temporal recupera o clip em que «um ciclista vira à esquerda no cruzamento», a partir de horas de filmagem.
• Acessibilidade: As aplicações de assistência respondem a «onde está o sinal de saída?» localizando o objeto, em vez de apenas o identificar pelo nome.

Ancoragem vs. termos relacionados#

• Geração de legendas para imagens: Transforma uma imagem em texto. A ancoragem segue o caminho inverso, do texto para as regiões da imagem que ele descreve.
• Perguntas e respostas visuais (VQA): Responde por escrito a uma pergunta sobre uma imagem. A VQA com ancoragem também aponta as evidências da resposta.
• Aprendizado zero-shot: Reconhece classes sem exemplos de treinamento. A ancoragem com vocabulário aberto é uma forma de conseguir isso, pois uma classe descrita em palavras não precisa de imagens rotuladas.
• IA multimodal: Campo mais amplo de modelos que combinam tipos de dados; ancoragem é o alinhamento de palavras específicas com partes específicas da outra modalidade.

Ancoragem em modelos de linguagem#

Um LLM que responde apenas com base na memória pode produzir afirmações fluentes sem fonte, uma das causas de alucinação. A geração ancorada fornece evidências no momento da inferência, por meio de geração aumentada por recuperação (RAG), pesquisa na Web, consultas a bancos de dados ou chamadas de ferramentas, e pede ao modelo que responda com base nessas evidências e as cite. É possível verificar uma resposta ancorada afirmação por afirmação em relação às fontes, e as avaliações de sistemas ancorados medem a fidelidade — se cada afirmação é sustentada pelo texto recuperado — separadamente da correção do texto recuperado.