Conheça o SAM 3: o novo Modelo Segment Anything da Meta AI

Em 19 de novembro de 2025, a Meta AI lançou o Segment Anything Model 3, também conhecido como SAM 3. Esta nova versão do Segment Anything Model apresenta novas formas de detectar, segmentar e rastrear objetos em imagens e vídeos do mundo real usando prompts de texto, prompts visuais e exemplos de imagens.

O modelo SAM 3 se baseia no SAM e no SAM 2 e traz novos avanços e recursos, como segmentação de conceitos, detecção de vocabulário aberto e rastreamento de vídeo em tempo real. Ele consegue entender frases nominais curtas, acompanhar objetos entre quadros e identificar conceitos raros ou detalhados que os modelos anteriores não conseguiam tratar com a mesma consistência.

Como parte do lançamento do SAM 3, a Meta também apresentou o SAM 3D. Este conjunto de modelos de última geração reconstrói objetos, cenários e corpos humanos completos a partir de uma única imagem e expande o ecossistema Segment Anything para a compreensão 3D. Estas novidades abrem caminho a novas aplicações em visão computacional, robótica, edição de conteúdos multimédia e fluxos de trabalho criativos.

Neste artigo, vamos explorar o que é o SAM 3, o que o diferencia do SAM 2, como o modelo funciona e quais são suas aplicações no mundo real.

O que é o SAM 3? Uma análise ao Segment Anything Model 3 da Meta#

O SAM 3 é um modelo de visão computacional de última geração que consegue identificar, separar e rastrear objetos em imagens e vídeos com base em instruções simples. Em vez de depender de uma lista fixa de rótulos, o SAM 3 entende a linguagem natural e sinais visuais, facilitando a indicação do que você quer encontrar.

Por exemplo, com o SAM 3, você pode digitar uma frase curta, como “ônibus escolar amarelo” ou “um gato listrado”, clicar em um objeto ou destacar um exemplo em uma imagem. O modelo detectará todos os objetos correspondentes e gerará máscaras de segmentação precisas (um contorno visual que mostra exatamente quais pixels pertencem a um objeto). O SAM 3 também pode acompanhar esses objetos em quadros de vídeo, mantendo-os consistentes enquanto se movem.

O SAM 3D permite a reconstrução 3D a partir de uma única imagem#

Outra novidade empolgante do anúncio da Meta AI é o SAM 3D, que expande o projeto Segment Anything para a compreensão 3D. O SAM 3D pode receber uma única imagem 2D e reconstruir a forma, a pose ou a estrutura de um objeto ou corpo humano em três dimensões. Por outras palavras, o modelo consegue estimar como algo ocupa o espaço, mesmo quando só está disponível um ponto de vista.

O SAM 3D foi lançado como dois modelos diferentes: SAM 3D Objects, que reconstrói objetos do quotidiano com geometria e textura, e SAM 3D Body, que estima a forma e a pose do corpo humano a partir de uma única imagem. Ambos os modelos usam o resultado da segmentação do SAM 3 e, em seguida, geram uma representação 3D alinhada com a aparência e a posição do objeto na fotografia original.

Fig. 1. Exemplo de utilização do SAM 3D. (Fonte: criado com o playground Segment Anything da Meta AI)

SAM 3: novas funcionalidades para unificar a deteção, a segmentação e o acompanhamento#

Eis algumas das principais atualizações introduzidas pelo SAM 3 para reunir a deteção, a segmentação e o acompanhamento num único modelo unificado:

• Tarefas de segmentação de conceitos: No SAM e no SAM 2, a segmentação de objetos dependia de instruções visuais, como cliques ou caixas. O SAM 3 acrescenta a capacidade de segmentar objetos com base numa frase de texto curta ou num recorte de exemplo da imagem. Isto permite ao modelo identificar todas as instâncias correspondentes sem ser necessário clicar em cada uma.
• Instruções de texto com vocabulário aberto: Ao contrário das versões anteriores, o SAM 3 consegue interpretar frases curtas em linguagem natural. Isto elimina a necessidade de uma lista fixa de etiquetas e permite ao modelo trabalhar com conceitos mais específicos ou menos comuns.
• Um modelo para deteção, segmentação e acompanhamento: O SAM 3 unifica a deteção, a segmentação e o acompanhamento num único modelo, eliminando a necessidade de sistemas separados para encontrar objetos, gerar máscaras de segmentação e acompanhá-los ao longo dos fotogramas de vídeo. Isto cria um fluxo de trabalho mais consistente e simplificado, tanto para imagens como para vídeo. Embora o SAM 2 também oferecesse algumas capacidades de acompanhamento, o SAM 3 proporciona um desempenho significativamente superior e mais fiável.
• Resultados mais estáveis em cenários complexos: Como o SAM 3 pode combinar texto, imagens de exemplo e instruções visuais, consegue lidar com cenários desordenados ou repetitivos de forma mais fiável do que as versões anteriores, que dependiam apenas de cliques visuais.

Fig. 2. O SAM 3 introduz a segmentação de conceitos com exemplos de texto ou imagem. (Fonte)

Comparação entre SAM 3, SAM 2 e SAM 1#

Imagina que estás a ver um vídeo de um safari com muitos animais diferentes e queres detetar e segmentar apenas os elefantes. Como seria esta tarefa nas diferentes versões do SAM?

Com o SAM, terias de clicar manualmente em cada elefante em cada fotograma para gerar uma máscara de segmentação. Não há acompanhamento, por isso cada novo fotograma exige novos cliques.

Com o SAM 2, poderias clicar uma vez num elefante, obter a respetiva máscara e deixar o modelo acompanhar esse mesmo elefante ao longo do vídeo. No entanto, continuarias a ter de fazer cliques separados para segmentar vários elefantes (objetos específicos), pois o SAM 2 não compreende categorias como «elefante» por si só.

Com o SAM 3, o fluxo de trabalho torna-se muito mais simples. Podes escrever «elefante» ou desenhar uma caixa delimitadora à volta de um único elefante como exemplo; o modelo encontra automaticamente todos os elefantes no vídeo, segmenta-os e acompanha-os de forma consistente entre fotogramas. Continua a aceitar as instruções de clique e de caixa usadas nas versões anteriores, mas agora também pode responder a instruções de texto e imagens de exemplo, algo que o SAM e o SAM 2 não conseguiam fazer.

Como funciona o modelo SAM 3#

A seguir, vamos analisar mais de perto como funciona o modelo SAM 3 e como foi treinado.

Visão geral da arquitetura do modelo SAM 3#

O SAM 3 reúne vários componentes para permitir instruções de conceito e instruções visuais num único sistema. No centro do modelo está o Meta Perception Encoder, o codificador unificado de imagens e texto, de código aberto, da Meta.

Este codificador consegue processar tanto imagens como frases nominais curtas. Em termos simples, isto permite ao SAM 3 relacionar a linguagem com as características visuais de forma mais eficaz do que as versões anteriores do Segment Anything Model.

Além deste codificador, o SAM 3 inclui um detetor baseado na família de modelos Transformer DETR. Este detetor identifica objetos na imagem e ajuda o sistema a determinar quais correspondem à instrução do utilizador.

Mais especificamente, para a segmentação de vídeo, o SAM 3 usa um componente de acompanhamento baseado no banco de memória e no codificador de memória do SAM 2. Isto permite ao modelo manter informações sobre os objetos entre fotogramas, para os voltar a identificar e acompanhar ao longo do tempo.

Fig. 3. Como funciona a segmentação de qualquer objeto com conceitos (Fonte: scontent)

O motor de dados escalável por trás do Segment Anything Model 3#

Para treinar o SAM 3, a Meta precisava de muito mais dados anotados do que os atualmente disponíveis na Internet. É difícil criar máscaras de segmentação e etiquetas de texto de alta qualidade em grande escala, e delinear completamente cada instância de um conceito em imagens e vídeos é um processo lento e dispendioso.

Para resolver este problema, a Meta criou um novo motor de dados que combina o próprio SAM 3, modelos de IA adicionais e anotadores humanos. O fluxo de trabalho começa com uma sequência de sistemas de IA, incluindo o SAM 3 e um modelo de legendagem baseado no Llama.

Estes sistemas analisam grandes coleções de imagens e vídeos, geram legendas, convertem-nas em etiquetas de texto e produzem propostas iniciais de máscaras de segmentação. Em seguida, anotadores humanos e de IA analisam essas propostas.

Os anotadores de IA, treinados para igualar ou até superar a precisão humana em tarefas como verificar a qualidade das máscaras e confirmar a cobertura dos conceitos, filtram os casos simples. Os humanos intervêm apenas nos exemplos mais difíceis, nos quais o modelo ainda pode ter dificuldades.

Fig. 4. Motor de dados do SAM 3 (Fonte)

Esta abordagem aumenta significativamente a velocidade de anotação da Meta. Ao deixar que os anotadores de IA tratem dos casos simples, o fluxo de trabalho torna-se cerca de cinco vezes mais rápido com instruções negativas e 36% mais rápido com instruções positivas em domínios de granularidade fina.

Esta eficiência permitiu expandir o conjunto de dados para mais de quatro milhões de conceitos únicos. O ciclo contínuo de propostas da IA, correções humanas e previsões atualizadas do modelo também melhora a qualidade das etiquetas ao longo do tempo e ajuda o SAM 3 a aprender um conjunto muito mais amplo de conceitos visuais e textuais.

Melhorias de desempenho do SAM 3#

Em termos de desempenho, o SAM 3 representa uma melhoria evidente em relação aos modelos anteriores. No novo benchmark SA-Co da Meta, que avalia a deteção e segmentação de conceitos com vocabulário aberto, o SAM 3 alcança aproximadamente o dobro do desempenho dos sistemas anteriores, tanto em imagens como em vídeo.

Ele também iguala ou supera o SAM 2 em tarefas visuais interativas, como ponto para máscara e máscara para conjunto de máscaras. A Meta relata ganhos adicionais em avaliações mais difíceis, como LVIS zero-shot (nas quais os modelos precisam reconhecer categorias raras sem exemplos de treinamento) e contagem de objetos (que mede se todas as instâncias de um objeto foram detectadas), o que destaca uma maior capacidade de generalização entre domínios.

Além dessas melhorias de precisão, o SAM 3 é eficiente: processa uma imagem com mais de 100 objetos detectados em cerca de 30 milissegundos em uma GPU H200 e mantém velocidades quase em tempo real ao rastrear vários objetos em vídeo. Com prompts de texto, SAM 3 e o mais recente SAM 3.1 também são comparados a modelos de linguagem visual na detecção de objetos do mundo real no Ultralytics VLM Leaderboard.

Aplicações do Segment Anything Model 3#

Agora que já conhecemos melhor o SAM 3, vamos ver como está a ser usado em aplicações reais, desde raciocínio avançado guiado por texto até à investigação científica e aos próprios produtos da Meta.

Como processar consultas de texto complexas com o SAM 3 Agent#

O SAM 3 também pode ser usado como ferramenta num modelo de linguagem multimodal de maior dimensão, ao qual a Meta chama SAM 3 Agent. Em vez de dar ao SAM 3 uma frase curta como «elefante», o agente pode dividir uma pergunta mais complexa em instruções menores que o SAM 3 consegue compreender.

Por exemplo, se o utilizador perguntar «Que objeto na imagem serve para controlar e orientar um cavalo?», o agente experimenta diferentes frases nominais, envia-as ao SAM 3 e verifica quais das máscaras fazem sentido. Continua a aperfeiçoar a pesquisa até encontrar o objeto certo.

Mesmo sem ter sido treinado com conjuntos de dados de raciocínio específicos, o SAM 3 Agent apresenta bons resultados em benchmarks concebidos para consultas de texto complexas, como ReasonSeg e OmniLabel. Isto demonstra que o SAM 3 pode dar suporte a sistemas que precisam tanto de compreensão da linguagem como de segmentação visual com granularidade fina.

Aplicações científicas e de conservação do SAM 3#

Curiosamente, o SAM 3 já está a ser utilizado em contextos de investigação que exigem etiquetas visuais detalhadas. A Meta colaborou com a Conservation X Labs e a Osa Conservation para criar o SA-FARI, um conjunto de dados público para monitorização da vida selvagem com mais de 10 000 vídeos de câmaras de armadilhagem.

Todos os animais em todos os fotogramas são etiquetados com caixas e máscaras de segmentação, uma tarefa que seria extremamente demorada se fosse feita manualmente. De forma semelhante, na investigação oceânica, o SAM 3 está a ser usado em conjunto com o FathomNet e o MBARI para criar máscaras de segmentação de instâncias de imagens subaquáticas e apoiar novos benchmarks de avaliação.

Estes conjuntos de dados ajudam os cientistas a analisar gravações de vídeo com maior eficiência e a estudar animais e habitats que normalmente são difíceis de acompanhar em grande escala. Os investigadores também podem usar estes recursos para criar os seus próprios modelos de identificação de espécies, análise de comportamento e monitorização ecológica automatizada.

Como a Meta está a implementar o SAM 3 nos seus produtos#

Além da investigação, o SAM 3 também está a impulsionar novas funcionalidades e casos de utilização nos produtos de consumo da Meta. Eis algumas das formas como já está a ser integrado:

• Edições no Instagram: Os criadores podem aplicar efeitos a uma pessoa ou objeto específico num vídeo sem terem de trabalhar manualmente fotograma a fotograma.
• Aplicação Meta AI e meta.ai na Web: O SAM 3 dá suporte a novas ferramentas para modificar, melhorar e remixar imagens e vídeos.
• «Ver na divisão» do Facebook Marketplace: O SAM 3 funciona com o SAM 3D para permitir que as pessoas vejam como ficariam móveis ou objetos decorativos em casa, usando uma única fotografia.
• Óculos de investigação Aria Gen 2: O Segment Anything Model 3 ajuda a segmentar e acompanhar mãos e objetos a partir de uma perspetiva na primeira pessoa, dando suporte à realidade aumentada (AR), à robótica e à investigação em IA contextual.

Principais conclusões#

O SAM 3 representa um avanço empolgante na segmentação. Introduz a segmentação de conceitos, as instruções de texto com vocabulário aberto e um acompanhamento melhorado. Com um desempenho visivelmente superior em imagens e vídeos, bem como a adição do SAM 3D, este conjunto de modelos abre novas possibilidades para a IA visual, as ferramentas criativas, a investigação científica e os produtos do mundo real.

Junta-te à nossa comunidade e explora o nosso repositório no GitHub para descobrires mais sobre IA. Se queres criar o teu próprio projeto de IA visual, consulta as nossas opções de licenciamento. Descobre mais sobre aplicações como a IA na área da saúde e a IA visual no retalho nas nossas páginas de soluções.