Aplicações do Segment Anything Model 2 (SAM 2) da Meta AI

No dia 29 de julho de 2024, a Meta AI lançou a segunda versão do seu Segment Anything Model, o SAM 2. O novo modelo consegue identificar exatamente quais pixels pertencem a um objeto de destino tanto em imagens quanto em vídeos! O melhor de tudo é que o modelo consegue seguir um objeto de forma consistente em todos os quadros de um vídeo em tempo real. O SAM 2 abre possibilidades empolgantes para edição de vídeo, experiências de realidade mista e anotação mais rápida de dados visuais para o treinamento de sistemas de visão computacional.

Aproveitando o sucesso do SAM original, que tem sido utilizado em áreas como ciência marinha, imagens de satélite e medicina, o SAM 2 aborda desafios como objetos em movimento rápido e mudanças na aparência. Sua precisão e eficiência aprimoradas tornam-no uma ferramenta versátil para uma ampla gama de aplicações. Neste artigo, vamos nos concentrar em onde o SAM 2 pode ser aplicado e por que ele é importante para a comunidade de IA.

O que é o SAM 2?#

O Segment Anything Model 2 é um modelo base avançado que suporta segmentação visual com prompts ou PVS, tanto em imagens quanto em vídeos. A PVS é uma técnica em que um modelo pode segmentar ou identificar diferentes partes de uma imagem ou vídeo com base em prompts ou entradas específicas fornecidas pelo usuário. Esses prompts podem ser na forma de cliques, caixas ou máscaras que destacam a área de interesse. O modelo então gera uma máscara de segmentação que contorna a área especificada.

A arquitetura do SAM 2 baseia-se no SAM original, expandindo da segmentação de imagens para incluir também a segmentação de vídeos. Ele possui um decodificador de máscara leve que usa dados de imagem e prompts para criar máscaras de segmentação. Para vídeos, o SAM 2 introduz um sistema de memória que o ajuda a lembrar informações de quadros anteriores, garantindo um rastreamento preciso ao longo do tempo. O sistema de memória inclui componentes que armazenam e recuperam detalhes sobre os objetos sendo segmentados. O SAM 2 também consegue lidar com oclusões, rastrear objetos através de múltiplos quadros e gerenciar prompts ambíguos ao gerar diversas máscaras possíveis. A arquitetura avançada do SAM 2 o torna altamente capaz tanto em ambientes visuais estáticos quanto dinâmicos.

Especificamente no que diz respeito à segmentação de vídeos, o SAM 2 alcança maior precisão com três vezes menos interações do usuário em comparação com métodos anteriores. Para segmentação de imagens, o SAM 2 supera o Segment Anything Model (SAM) original, sendo seis vezes mais rápido e preciso. Essa melhoria foi demonstrada no artigo de pesquisa do SAM 2 em 37 conjuntos de dados diferentes, incluindo 23 nos quais o SAM havia sido testado anteriormente.

Fig 1. Comparando o SAM e o SAM 2.

Curiosamente, o SAM 2 da Meta AI foi desenvolvido através da criação do maior conjunto de dados de segmentação de vídeos até o momento, o conjunto de dados SA-V. O extenso conjunto de dados inclui mais de 50.000 vídeos e 35,5 milhões de máscaras de segmentação e foi coletado por meio de contribuições interativas de usuários. Os anotadores forneceram prompts e correções para ajudar o modelo a aprender com uma enorme variedade de cenários e tipos de objetos.

Aplicações do Segment Anything Model 2#

Graças às suas capacidades avançadas em segmentação de imagem e vídeo, o SAM 2 pode ser utilizado em vários setores. Vamos explorar algumas dessas aplicações.

O SAM 2 possibilita Realidade Aumentada (AR) e Realidade Virtual (VR)#

O novo modelo de segmentação da Meta AI pode ser usado em aplicações de Realidade Aumentada (AR) e Realidade Virtual (VR). Por exemplo, o SAM 2 pode identificar e segmentar com precisão objetos do mundo real e fazer com que a interação com objetos virtuais pareça mais realista. Ele pode ser útil em vários campos como jogos, educação e treinamento, onde uma interação realista entre elementos virtuais e reais é essencial.

Com dispositivos como óculos de AR tornando-se mais avançados, as capacidades do SAM 2 podem em breve ser integradas a eles. Imagine colocar óculos e olhar ao redor da sua sala de estar. Quando os óculos segmentarem e notarem a tigela de água do seu cachorro, eles podem lembrá-lo de enchê-la, como mostrado na imagem abaixo. Ou, se você estiver cozinhando uma nova receita, os óculos podem identificar os ingredientes na sua bancada e fornecer instruções passo a passo e dicas, melhorando sua experiência culinária e garantindo que você tenha todos os itens necessários à mão.

Fig 2. O SAM 2 poderá ser usado em breve em óculos de AR.

Imagens de sonar com o Segment Anything Model 2#

Pesquisas usando o modelo SAM mostraram que ele pode ser aplicado em domínios especializados, como imagens de sonar. As imagens de sonar apresentam desafios únicos devido à baixa resolução, altos níveis de ruído e formas complexas de objetos dentro das imagens. Ao fazer o fine-tuning do SAM para imagens de sonar, os pesquisadores demonstraram sua capacidade de segmentar com precisão vários objetos subaquáticos, como detritos marinhos, formações geológicas e outros itens de interesse. Imagens subaquáticas precisas e confiáveis podem ser usadas em pesquisa marinha, arqueologia subaquática, gestão de pesca e vigilância para tarefas como mapeamento de habitats, descoberta de artefatos e detecção de ameaças.

Fig 3. Um exemplo de uso do SAM com fine-tuning para segmentação de imagens de sonar.

Como o SAM 2 baseia-se e melhora muitos dos desafios enfrentados pelo SAM, ele tem o potencial de aprimorar ainda mais a análise de imagens de sonar. Suas capacidades precisas de segmentação podem ajudar em várias aplicações marinhas, incluindo pesquisa científica e pesca. Por exemplo, o SAM 2 pode delinear eficazmente estruturas subaquáticas, detectar detritos marinhos e identificar objetos em imagens de sonar voltadas para a frente, contribuindo para uma exploração e monitoramento subaquáticos mais precisos e eficientes.

Aqui estão os benefícios potenciais de usar o SAM 2 para analisar imagens de sonar:

• Eficiência: Reduz o tempo e o esforço necessários para a segmentação manual, permitindo que os profissionais foquem mais na análise e na tomada de decisões.
• Consistência: Fornece resultados de segmentação consistentes e reproduzíveis, essenciais para pesquisas e monitoramento marinhos em larga escala.
• Versatilidade: Capaz de lidar com uma ampla gama de imagens de sonar, tornando-o útil para diversas aplicações na ciência e na indústria marinha.

Ao integrar o SAM 2 aos processos de imagem de sonar, a indústria marinha pode alcançar maior eficiência, precisão e confiabilidade na exploração e análise subaquáticas, resultando em melhores resultados na pesquisa marinha.

Usando o SAM 2 em veículos autônomos#

Outra aplicação do SAM 2 é em veículos autônomos. O SAM 2 pode identificar com precisão objetos como pedestres, outros veículos, placas de trânsito e obstáculos em tempo real. O nível de detalhes que o SAM 2 pode fornecer é essencial para tomar decisões de navegação segura e evitar colisões. Ao processar dados visuais com precisão, o SAM 2 ajuda a criar um mapa detalhado e confiável do ambiente e leva a uma melhor tomada de decisões.

Fig 4. Usando segmentação para entender o tráfego.

A capacidade do SAM 2 de funcionar bem em diferentes condições de iluminação, mudanças climáticas e ambientes dinâmicos o torna confiável para veículos autônomos. Seja em uma rua urbana movimentada ou em uma rodovia com neblina, o SAM 2 pode identificar e segmentar objetos de forma consistente e precisa para que o veículo responda corretamente a diversas situações.

No entanto, há algumas limitações a serem consideradas. Para objetos complexos e em movimento rápido, o SAM 2 pode às vezes perder detalhes minuciosos, e suas previsões podem se tornar instáveis entre os quadros. Além disso, o SAM 2 pode, às vezes, confundir múltiplos objetos com aparência semelhante em cenas lotadas. Esses desafios são o motivo pelo qual a integração de sensores e tecnologias adicionais é fundamental em aplicações de direção autônoma.

Monitoramento ambiental com a ajuda do SAM 2#

O monitoramento ambiental usando visão computacional pode ser complicado, especialmente quando há falta de dados anotados, mas isso também é o que o torna uma aplicação interessante para o SAM 2. O SAM 2 pode ser usado para rastrear e analisar mudanças em paisagens naturais segmentando e identificando com precisão vários recursos ambientais, como florestas, corpos d'água, áreas urbanas e terras agrícolas a partir de imagens de satélite ou drones. Especificamente, a segmentação precisa ajuda a monitorar o desmatamento, a urbanização e as mudanças no uso da terra ao longo do tempo para fornecer dados valiosos para a conservação ambiental e o planejamento.

Aqui estão alguns dos benefícios de usar um modelo como o SAM 2 para analisar mudanças ambientais ao longo do tempo:

• Detecção precoce: Identifica sinais precoces de degradação ambiental, permitindo intervenções oportunas para evitar danos maiores.
• Gestão de recursos: Auxilia na gestão eficiente dos recursos naturais, fornecendo insights detalhados sobre o estado de diversos recursos ambientais.
• Conservação da biodiversidade: Ajuda no rastreamento da vida selvagem e no monitoramento da biodiversidade, contribuindo para esforços de conservação e para a proteção de espécies ameaçadas.
• Resposta a desastres: Auxilia na avaliação do impacto de desastres naturais como inundações, incêndios florestais e furacões, permitindo uma resposta rápida e eficaz e o planejamento de recuperação.

Edição de vídeo com o SAM 2: Experimente você mesmo#

O Segment Anything 2 Demo é uma ótima maneira de testar o modelo em um vídeo. Usando os recursos de PVS do SAM 2, pegamos um antigo vídeo do YouTube da Ultralytics e conseguimos segmentar três objetos ou pessoas no vídeo e pixelá-los. Tradicionalmente, editar três indivíduos de um vídeo como esse seria demorado e tedioso, exigindo mascaramento manual quadro a quadro. No entanto, o SAM 2 simplifica esse processo. Com alguns cliques na demonstração, você pode proteger a identidade de três objetos de interesse em questão de segundos.

Fig 6. Experimentando a demonstração do SAM 2.

A demonstração também permite que você teste alguns efeitos visuais diferentes, como colocar um holofote nos objetos que você seleciona para rastreamento e apagar os objetos que estão sendo rastreados. Se você gostou da demonstração e está pronto para começar a inovar com o SAM 2, confira a página de documentação do modelo Ultralytics SAM 2 para obter instruções detalhadas sobre como colocar a mão na massa com o modelo. Explore os recursos, etapas de instalação e exemplos para aproveitar ao máximo o potencial do SAM 2 em seus projetos!

Conclusão#

O Segment Anything Model 2 (SAM 2) da Meta AI está transformando a segmentação de vídeos e imagens. À medida que tarefas como rastreamento de objetos melhoram, estamos descobrindo novas oportunidades em edição de vídeo, realidade mista, pesquisa científica e imagem médica. Ao facilitar tarefas complexas e acelerar as anotações, o SAM 2 está pronto para se tornar uma ferramenta importante para a comunidade de IA. À medida que continuamos a explorar e inovar com modelos como o SAM 2, podemos prever aplicações e avanços ainda mais inovadores em vários campos!

Saiba mais sobre IA explorando nosso repositório do GitHub e participando da nossa comunidade. Confira nossas páginas de soluções para insights detalhados sobre IA em manufatura e saúde. 🚀