Aplicações do Segment Anything Model 2 (SAM 2) da Meta AI

No dia 29 de julho de 2024, a Meta AI lançou a segunda versão do seu Segment Anything Model, o SAM 2. O novo modelo consegue identificar com precisão quais pixels pertencem a um objeto alvo tanto em imagens quanto em vídeos! O melhor de tudo é que o modelo é capaz de acompanhar um objeto consistentemente em todos os quadros de um vídeo em tempo real. O SAM 2 abre possibilidades empolgantes para edição de vídeo, experiências de realidade mista e uma anotação mais rápida de dados visuais para o treinamento de sistemas de visão computacional.

Construído sobre o sucesso do SAM original, que tem sido utilizado em áreas como ciência marinha, imagens de satélite e medicina, o SAM 2 enfrenta desafios como objetos em movimento rápido e mudanças na aparência. Sua precisão e eficiência aprimoradas o tornam uma ferramenta versátil para uma ampla gama de aplicações. Neste artigo, focaremos em onde o SAM 2 pode ser aplicado e por que ele é importante para a comunidade de IA.

Link to this sectionO que é o SAM 2?#

O SAM 2 (Segment Anything Model 2) é um modelo base avançado que suporta segmentação visual com prompts ou PVS tanto em imagens quanto em vídeos. PVS é uma técnica em que um modelo pode segmentar ou identificar diferentes partes de uma imagem ou vídeo com base em prompts ou inputs específicos fornecidos pelo usuário. Esses prompts podem ser na forma de cliques, caixas ou máscaras que destacam a área de interesse. O modelo então gera uma máscara de segmentação que contorna a área especificada.

A arquitetura do SAM 2 baseia-se no SAM original, expandindo da segmentação de imagens para incluir também a segmentação de vídeos. Ele possui um decodificador de máscara leve que usa dados de imagem e prompts para criar máscaras de segmentação. Para vídeos, o SAM 2 introduz um sistema de memória que o ajuda a lembrar informações de quadros anteriores, garantindo um rastreamento preciso ao longo do tempo. O sistema de memória inclui componentes que armazenam e recuperam detalhes sobre os objetos sendo segmentados. O SAM 2 também consegue lidar com oclusões, rastrear objetos através de múltiplos quadros e gerenciar prompts ambíguos ao gerar diversas máscaras possíveis. A arquitetura avançada do SAM 2 o torna altamente capaz tanto em ambientes visuais estáticos quanto dinâmicos.

Especificamente, com relação à segmentação de vídeo, o SAM 2 alcança uma precisão maior com três vezes menos interações do usuário em comparação com métodos anteriores. Para a segmentação de imagens, o SAM 2 supera o Segment Anything Model (SAM) original, sendo seis vezes mais rápido e mais preciso. Essa melhoria foi demonstrada no artigo de pesquisa do SAM 2 em 37 conjuntos de dados diferentes, incluindo 23 nos quais o SAM foi testado anteriormente.

Fig 1. Comparando o SAM e o SAM 2.

Curiosamente, o SAM 2 da Meta AI foi desenvolvido criando o maior dataset de segmentação de vídeo até hoje, o dataset SA-V. Este extenso dataset inclui mais de 50.000 vídeos e 35,5 milhões de máscaras de segmentação e foi coletado por meio de contribuições interativas de usuários. Os anotadores forneceram prompts e correções para ajudar o modelo a aprender com uma grande variedade de cenários e tipos de objetos.

Link to this sectionAplicações do Segment Anything Model 2#

Graças às suas capacidades avançadas em segmentação de imagem e vídeo, o SAM 2 pode ser utilizado em vários setores. Vamos explorar algumas dessas aplicações.

Link to this sectionO SAM 2 possibilita Realidade Aumentada (AR) e Realidade Virtual (VR)#

O novo modelo de segmentação da Meta AI pode ser usado para aplicações de Realidade Aumentada (AR) e Realidade Virtual (VR). Por exemplo, o SAM 2 consegue identificar e segmentar com precisão objetos do mundo real, tornando a interação com objetos virtuais mais realista. Isso pode ser útil em diversos campos, como jogos, educação e treinamento, onde uma interação realista entre elementos virtuais e reais é essencial.

Com dispositivos como óculos de AR tornando-se mais avançados, as capacidades do SAM 2 podem em breve ser integradas a eles. Imagine colocar óculos e olhar ao redor da sua sala de estar. Quando os óculos segmentarem e notarem a tigela de água do seu cachorro, eles podem lembrá-lo de enchê-la, como mostrado na imagem abaixo. Ou, se você estiver cozinhando uma nova receita, os óculos podem identificar os ingredientes na sua bancada e fornecer instruções passo a passo e dicas, melhorando sua experiência culinária e garantindo que você tenha todos os itens necessários à mão.

Fig 2. O SAM 2 pode em breve ser usado em óculos de AR.

Link to this sectionImagens de sonar com o Segment Anything Model 2#

Pesquisas usando o modelo SAM mostraram que ele pode ser aplicado em domínios especializados, como imagens de sonar. Imagens de sonar apresentam desafios únicos devido à sua baixa resolução, altos níveis de ruído e as formas complexas dos objetos dentro das imagens. Ao ajustar (fine-tuning) o SAM para imagens de sonar, pesquisadores demonstraram sua capacidade de segmentar com precisão vários objetos subaquáticos, como detritos marinhos, formações geológicas e outros itens de interesse. Imagens subaquáticas precisas e confiáveis podem ser usadas em pesquisas marinhas, arqueologia subaquática, gestão pesqueira e vigilância para tarefas como mapeamento de habitats, descoberta de artefatos e detecção de ameaças.

Fig 3. Um exemplo do uso do SAM ajustado para segmentação de imagens de sonar.

Como o SAM 2 se baseia e melhora muitos dos desafios enfrentados pelo SAM, ele tem o potencial de aprimorar ainda mais a análise de imagens de sonar. Suas capacidades de segmentação precisa podem auxiliar em várias aplicações marinhas, incluindo pesquisa científica e pesca. Por exemplo, o SAM 2 pode contornar efetivamente estruturas subaquáticas, detectar detritos marinhos e identificar objetos em imagens de sonar de visão frontal, contribuindo para uma exploração e monitoramento subaquáticos mais precisos e eficientes.

Aqui estão os benefícios potenciais de usar o SAM 2 para analisar imagens de sonar:

• Eficiência: Reduz o tempo e o esforço necessários para a segmentação manual, permitindo que os profissionais foquem mais na análise e na tomada de decisões.
• Consistência: Fornece resultados de segmentação consistentes e reproduzíveis, essenciais para pesquisas e monitoramento marinhos em larga escala.
• Versatilidade: Capaz de lidar com uma ampla gama de imagens de sonar, tornando-o útil para diversas aplicações na ciência e na indústria marinha.

Ao integrar o SAM 2 aos processos de imagem de sonar, a indústria marinha pode alcançar maior eficiência, precisão e confiabilidade na exploração e análise subaquáticas, resultando em melhores resultados na pesquisa marinha.

Link to this sectionUsando o SAM 2 em veículos autônomos#

Outra aplicação do SAM 2 é em veículos autônomos. O SAM 2 pode identificar com precisão objetos como pedestres, outros veículos, placas de sinalização e obstáculos em tempo real. O nível de detalhe que o SAM 2 pode fornecer é essencial para tomar decisões de navegação segura e evitar colisões. Ao processar dados visuais com precisão, o SAM 2 ajuda a criar um mapa detalhado e confiável do ambiente, levando a uma melhor tomada de decisão.

Fig 4. Usando segmentação para entender o tráfego.

A capacidade do SAM 2 de funcionar bem em diferentes condições de iluminação, mudanças climáticas e ambientes dinâmicos o torna confiável para veículos autônomos. Seja em uma rua urbana movimentada ou em uma rodovia com neblina, o SAM 2 pode identificar e segmentar objetos de forma consistente e precisa para que o veículo responda corretamente a diversas situações.

No entanto, há algumas limitações a serem consideradas. Para objetos complexos e em movimento rápido, o SAM 2 pode às vezes perder detalhes minuciosos, e suas previsões podem se tornar instáveis entre os quadros. Além disso, o SAM 2 pode, às vezes, confundir múltiplos objetos com aparência semelhante em cenas lotadas. Esses desafios são o motivo pelo qual a integração de sensores e tecnologias adicionais é fundamental em aplicações de direção autônoma.

Link to this sectionMonitoramento ambiental com a ajuda do SAM 2#

O monitoramento ambiental usando visão computacional pode ser complicado, especialmente quando há falta de dados anotados, mas é também isso que o torna uma aplicação interessante para o SAM 2. O SAM 2 pode ser usado para rastrear e analisar mudanças em paisagens naturais, segmentando e identificando com precisão vários recursos ambientais, como florestas, corpos d'água, áreas urbanas e terras agrícolas, a partir de imagens de satélite ou drones. Especificamente, a segmentação precisa ajuda no monitoramento do desmatamento, urbanização e mudanças no uso da terra ao longo do tempo, fornecendo dados valiosos para conservação ambiental e planejamento.

Aqui estão alguns dos benefícios de usar um modelo como o SAM 2 para analisar mudanças ambientais ao longo do tempo:

• Detecção precoce: Identifica sinais precoces de degradação ambiental, permitindo intervenções oportunas para evitar danos maiores.
• Gestão de recursos: Auxilia na gestão eficiente dos recursos naturais, fornecendo insights detalhados sobre o estado de diversos recursos ambientais.
• Conservação da biodiversidade: Ajuda no rastreamento da vida selvagem e no monitoramento da biodiversidade, contribuindo para esforços de conservação e para a proteção de espécies ameaçadas.
• Resposta a desastres: Auxilia na avaliação do impacto de desastres naturais como inundações, incêndios florestais e furacões, permitindo uma resposta rápida e eficaz e o planejamento de recuperação.

Link to this sectionEdição de vídeo com o SAM 2: Experimente você mesmo#

A demonstração do Segment Anything 2 é uma ótima maneira de testar o modelo em um vídeo. Usando as capacidades PVS do SAM 2, pegamos um antigo vídeo do YouTube da Ultralytics e conseguimos segmentar três objetos ou pessoas no vídeo e pixelá-los. Tradicionalmente, editar três indivíduos de um vídeo assim seria demorado e tedioso, exigindo mascaramento manual quadro a quadro. No entanto, o SAM 2 simplifica esse processo. Com alguns cliques na demonstração, você pode proteger a identidade de três objetos de interesse em questão de segundos.

Fig 6. Experimentando a demonstração do SAM 2.

A demonstração também permite que você experimente alguns efeitos visuais diferentes, como colocar um holofote nos objetos selecionados para rastreamento e apagar os objetos que estão sendo rastreados. Se você gostou da demonstração e está pronto para começar a inovar com o SAM 2, confira a página de documentação do modelo SAM 2 da Ultralytics para instruções detalhadas sobre como começar a trabalhar com o modelo. Explore os recursos, etapas de instalação e exemplos para aproveitar ao máximo o potencial do SAM 2 em seus projetos!

Link to this sectionConclusão#

O Segment Anything Model 2 (SAM 2) da Meta AI está transformando a segmentação de vídeos e imagens. À medida que tarefas como rastreamento de objetos melhoram, estamos descobrindo novas oportunidades em edição de vídeo, realidade mista, pesquisa científica e imagem médica. Ao facilitar tarefas complexas e acelerar as anotações, o SAM 2 está pronto para se tornar uma ferramenta importante para a comunidade de IA. À medida que continuamos a explorar e inovar com modelos como o SAM 2, podemos prever aplicações e avanços ainda mais inovadores em vários campos!

Saiba mais sobre IA explorando nosso repositório no GitHub e participando da nossa comunidade. Confira nossas páginas de soluções para obter insights detalhados sobre IA em manufatura e saúde. 🚀