Aplicações do Modelo de Segmentação de Tudo 2 (SAM 2) da Meta AI

Em 29 de julho de 2024, a Meta AI lançou a segunda versão do seu Segment Anything Model, SAM 2. O novo modelo consegue identificar quais pixels pertencem a um objeto-alvo em imagens e vídeos. Ele também pode acompanhar um objeto de forma consistente em todos os quadros de um vídeo em tempo real. O SAM 2 abre possibilidades empolgantes para edição de vídeo, experiências de realidade mista e anotação mais rápida de dados visuais para treinar sistemas de visão computacional.

Com base no sucesso do SAM original, usado em áreas como ciências marinhas, imagens de satélite e medicina, o SAM 2 enfrenta desafios como objetos em movimento rápido e mudanças de aparência. Sua maior precisão e eficiência fazem dele uma ferramenta versátil para uma ampla variedade de aplicações. Neste artigo, vamos nos concentrar em onde o SAM 2 pode ser aplicado e por que ele é importante para a comunidade de IA.

O que é o SAM 2?#

O Segment Anything Model 2 é um modelo de base avançado que oferece suporte à segmentação visual orientada por prompts, ou PVS, em imagens e vídeos. PVS é uma técnica na qual um modelo pode segmentar ou identificar diferentes partes de uma imagem ou vídeo com base em prompts ou entradas específicos fornecidos pelo usuário. Esses prompts podem ser cliques, caixas ou máscaras que destacam a área de interesse. Em seguida, o modelo gera uma máscara de segmentação que delimita a área especificada.

A arquitetura do SAM 2 baseia-se no SAM original e expande a segmentação de imagens para incluir também a segmentação de vídeos. Inclui um descodificador de máscaras leve que usa dados de imagem e prompts para criar máscaras de segmentação. Para vídeos, o SAM 2 introduz um sistema de memória que o ajuda a recordar informações de fotogramas anteriores, garantindo um seguimento preciso ao longo do tempo. O sistema de memória inclui componentes que armazenam e recuperam detalhes sobre os objetos segmentados. O SAM 2 também consegue lidar com oclusões, seguir objetos ao longo de vários fotogramas e gerir prompts ambíguos ao gerar várias máscaras possíveis. A arquitetura avançada do SAM 2 torna-o altamente eficaz em ambientes visuais estáticos e dinâmicos.

Especificamente, na segmentação de vídeo, o SAM 2 alcança maior precisão com três vezes menos interações do utilizador do que os métodos anteriores. Na segmentação de imagens, o SAM 2 supera o Segment Anything Model (SAM) original, sendo seis vezes mais rápido e preciso. Esta melhoria foi demonstrada no artigo de investigação sobre o SAM 2, com 37 conjuntos de dados diferentes, incluindo 23 nos quais o SAM já tinha sido testado.

Fig. 1. Comparação entre SAM e SAM 2.

Curiosamente, o SAM 2 da Meta AI foi desenvolvido com a criação do maior conjunto de dados de segmentação de vídeo até hoje, o conjunto de dados SA-V. Esse amplo conjunto de dados inclui mais de 50.000 vídeos e 35,5 milhões de máscaras de segmentação e foi coletado por meio de contribuições interativas de usuários. Os anotadores forneceram prompts e correções para ajudar o modelo a aprender com uma grande variedade de cenários e tipos de objetos.

Aplicações do Segment Anything Model 2#

Graças às suas capacidades avançadas de segmentação de imagens e vídeos, o SAM 2 pode ser usado em vários setores. Vamos explorar algumas destas aplicações.

O SAM 2 permite a realidade aumentada (AR) e a realidade virtual (VR)#

O novo modelo de segmentação da Meta AI pode ser usado em aplicações de realidade aumentada (AR) e realidade virtual (VR). Por exemplo, o SAM 2 consegue identificar e segmentar objetos do mundo real com precisão, tornando mais realista a interação com objetos virtuais. Pode ser útil em várias áreas, como os jogos, a educação e a formação, nas quais é essencial uma interação realista entre elementos virtuais e reais.

À medida que dispositivos como os óculos de AR se tornam mais avançados, as capacidades do SAM 2 poderão em breve ser integradas nesses dispositivos. Imagine que coloca os óculos e olha em redor da sala de estar. Quando os óculos segmentarem e detetarem a taça de água do seu cão, poderão lembrar-lhe de a encher, como mostra a imagem abaixo. Ou, se estiver a preparar uma receita nova, os óculos poderão identificar os ingredientes na bancada e fornecer instruções passo a passo e sugestões, melhorando a sua experiência culinária e garantindo que tem todos os ingredientes necessários à mão.

Fig. 2. O SAM 2 poderá ser usado em breve em óculos de AR.

Imagens sonar com o Segment Anything Model 2#

Pesquisas que usam o modelo SAM demonstraram que ele pode ser aplicado em domínios especializados, como imagens sonar. As imagens sonar apresentam desafios únicos devido à baixa resolução, aos altos níveis de ruído e às formas complexas dos objetos nas imagens. Ao ajustar o SAM com imagens sonar, pesquisadores demonstraram sua capacidade de segmentar com precisão vários objetos subaquáticos, como detritos marinhos, formações geológicas e outros itens de interesse. Imagens subaquáticas precisas e confiáveis podem ser usadas em pesquisas marinhas, arqueologia subaquática, gestão pesqueira e vigilância, em tarefas como mapeamento de habitats, descoberta de artefatos e detecção de ameaças.

Fig. 3. Exemplo de uso do SAM ajustado para segmentar imagens sonar.

Como o SAM 2 se baseia no SAM e supera muitos dos desafios enfrentados por ele, tem potencial para aprimorar ainda mais a análise de imagens de sonar. Seus recursos precisos de segmentação podem contribuir para diversas aplicações subaquáticas, incluindo pesquisa científica e pesca. Por exemplo, o SAM 2 pode delinear estruturas subaquáticas com eficácia, detectar detritos marinhos e identificar objetos em imagens de sonar de varredura frontal, contribuindo para uma exploração e um monitoramento subaquáticos mais precisos e eficientes.

Veja os possíveis benefícios de usar o SAM 2 para analisar imagens sonar:

• Eficiência: Reduz o tempo e o esforço necessários para a segmentação manual, permitindo que profissionais se concentrem mais na análise e na tomada de decisões.
• Consistência: Fornece resultados de segmentação consistentes e reproduzíveis, essenciais para pesquisas e monitorização marinhas em grande escala.
• Versatilidade: É capaz de lidar com uma ampla variedade de imagens sonar, sendo útil para diversas aplicações na ciência e na indústria marinhas.

Ao integrar o SAM 2 aos processos de imagens sonar, a indústria marinha pode alcançar maior eficiência, precisão e confiabilidade na exploração e análise subaquáticas, o que, em última instância, leva a melhores resultados na pesquisa marinha.

Uso do SAM 2 em veículos autônomos#

Outra aplicação do SAM 2 são os veículos autônomos. O SAM 2 pode identificar com precisão objetos como pedestres, outros veículos, placas de trânsito e obstáculos em tempo real. O nível de detalhamento que o SAM 2 oferece é essencial para tomar decisões sobre navegação segura e prevenção de colisões. Ao processar dados visuais com precisão, o SAM 2 ajuda a criar um mapa detalhado e confiável do ambiente, levando a decisões melhores.

Fig. 4. Uso da segmentação para compreender o trânsito.

A capacidade do SAM 2 de funcionar bem em diferentes condições de iluminação, mudanças climáticas e ambientes dinâmicos torna-o confiável para veículos autônomos. Seja em uma rua urbana movimentada ou em uma rodovia com neblina, o SAM 2 consegue identificar e segmentar objetos com precisão e consistência, para que o veículo possa responder corretamente a várias situações.

No entanto, há algumas limitações que devem ser consideradas. Com objetos complexos e em movimento rápido, o SAM 2 pode deixar passar detalhes finos, e suas previsões podem ficar instáveis entre quadros. Além disso, às vezes o SAM 2 pode confundir vários objetos parecidos em cenas movimentadas. Esses desafios explicam por que a integração de sensores e tecnologias adicionais é fundamental para aplicações de direção autônoma.

Monitorização ambiental com a ajuda do SAM 2#

A monitorização ambiental com visão computacional pode ser complicada, especialmente quando faltam dados anotados, mas isso também torna essa aplicação interessante para o SAM 2. O SAM 2 pode ser usado para acompanhar e analisar mudanças em paisagens naturais, segmentando e identificando com precisão vários elementos ambientais, como florestas, corpos d'água, áreas urbanas e terrenos agrícolas em imagens de satélite ou de drones. Mais especificamente, a segmentação precisa ajuda a monitorizar o desmatamento, a urbanização e as mudanças no uso do solo ao longo do tempo, fornecendo dados valiosos para a conservação ambiental e o planejamento.

Fig. 5. Uso do SAM 2 para monitoramento ambiental.

Veja alguns benefícios de usar um modelo como o SAM 2 para analisar mudanças ambientais ao longo do tempo:

• Detecção precoce: identifica sinais iniciais de degradação ambiental, permitindo intervenções oportunas para evitar danos adicionais.
• Gestão de recursos: Ajuda a gerir os recursos naturais com eficiência, fornecendo informações detalhadas sobre o estado de vários elementos ambientais.
• Conservação da biodiversidade: Ajuda a acompanhar a vida selvagem e monitorizar a biodiversidade, contribuindo para os esforços de conservação e a proteção de espécies ameaçadas.
• Resposta a desastres: Ajuda a avaliar o impacto de desastres naturais, como inundações, incêndios florestais e furacões, permitindo uma resposta rápida e eficaz e o planejamento da recuperação.

Edição de vídeo com o SAM 2: experimente você mesmo#

A demonstração do Segment Anything 2 é uma ótima maneira de experimentar o modelo em um vídeo. Usando os recursos PVS do SAM 2, pegamos um antigo vídeo da Ultralytics no YouTube e conseguimos segmentar três objetos ou pessoas no vídeo e pixelizá-los. Tradicionalmente, editar três pessoas de um vídeo como esse seria uma tarefa demorada e tediosa, que exigiria mascaramento manual quadro a quadro. No entanto, o SAM 2 simplifica esse processo. Com alguns cliques na demonstração, você pode proteger a identidade de três objetos de interesse em questão de segundos.

Fig. 6. Experimentando a demonstração do SAM 2.

A demonstração também permite experimentar alguns efeitos visuais diferentes, como destacar os objetos que você seleciona para rastreamento e apagar os objetos rastreados. Se você gostou da demonstração e está pronto para começar a inovar com o SAM 2, confira a página da documentação do modelo Ultralytics SAM 2 para instruções detalhadas sobre como começar a usar o modelo. Explore os recursos, as etapas de instalação e os exemplos para aproveitar ao máximo o potencial do SAM 2 nos seus projetos. Desde então, a Meta lançou o SAM 3, que adiciona segmentação de conceitos orientada por texto.

Encerramento#

O Segment Anything Model 2 (SAM 2) da Meta AI está transformando a segmentação de vídeos e imagens. Com a melhoria de tarefas como o rastreamento de objetos, estamos descobrindo novas oportunidades em edição de vídeo, realidade mista, pesquisa científica e imagens médicas. Ao facilitar tarefas complexas e acelerar as anotações, o SAM 2 está prestes a se tornar uma ferramenta importante para a comunidade de IA. À medida que continuamos explorando e inovando com modelos como o SAM 2, podemos esperar ainda mais aplicações e avanços em diversos campos.

Saiba mais sobre IA explorando nosso repositório do GitHub e participando da nossa comunidade. Confira nossas páginas de soluções para saber mais sobre IA em manufatura e saúde.