Compreender a segmentação de conceitos orientada por prompts

A IA de visão está a avançar rapidamente e é amplamente utilizada para analisar imagens e vídeos em ambientes do mundo real. Por exemplo, aplicações que vão desde sistemas de gestão de tráfego até à análise de retalho estão a ser integradas com modelos de visão computacional.

Em muitas destas aplicações, os modelos de visão, como os modelos de deteção de objetos, são treinados para reconhecer um conjunto predefinido de objetos, incluindo veículos, pessoas e equipamentos. Durante o treino, são apresentados a estes modelos muitos exemplos anotados, para que possam aprender a aparência de cada objeto e distingui-lo dos restantes numa cena.

Nas tarefas de segmentação, os modelos vão um passo além ao produzir contornos precisos dos objetos ao nível dos píxeis. Isto permite que os sistemas compreendam exatamente onde cada objeto está localizado numa imagem.

Isto funciona bem enquanto o sistema apenas precisar de reconhecer aquilo para que foi treinado. No entanto, em ambientes do mundo real, raramente é esse o caso.

As cenas visuais são normalmente dinâmicas. Surgem novos objetos e conceitos visuais, as condições mudam e os utilizadores querem frequentemente segmentar objetos que não faziam parte da configuração de treino original.

Estas limitações são especialmente evidentes no caso da segmentação. À medida que a IA de visão continua a evoluir, aumenta a necessidade de modelos de segmentação mais flexíveis, capazes de se adaptarem a novos conceitos sem necessidade de um novo treino repetido. É por isso que a segmentação de conceitos orientada por prompts (PCS) está a ganhar atenção.

Em vez de dependerem de uma lista fixa de categorias de objetos, os utilizadores podem descrever o que querem segmentar usando texto, prompts visuais ou imagens de exemplo. Estes modelos podem então identificar e segmentar todas as regiões que correspondem ao conceito descrito, mesmo que esse conceito não tenha sido explicitamente incluído durante o treino.

Neste artigo, vamos explorar como funciona a segmentação de conceitos orientada por prompts, em que difere das abordagens tradicionais e onde é utilizada atualmente.

O que é a segmentação de conceitos orientada por prompts?#

Na maioria dos casos, os modelos de segmentação são treinados para reconhecer uma lista curta de tipos de objetos. Isto funciona bem quando um sistema de IA de visão apenas precisa de detetar e segmentar um conjunto específico de objetos.

No entanto, nas aplicações do mundo real, as cenas visuais são dinâmicas. Surgem novos objetos, os requisitos das tarefas mudam e os utilizadores precisam frequentemente de segmentar conceitos que não estavam incluídos no conjunto original de etiquetas. Suportar estas situações normalmente significa recolher novos dados e anotações de alta qualidade e voltar a treinar o modelo, o que aumenta os custos e atrasa a implementação.

A segmentação de conceitos orientada por prompts resolve este problema ao permitir que os utilizadores indiquem ao modelo o que deve procurar, em vez de escolherem a partir de uma lista fixa de etiquetas. Os utilizadores descrevem o objeto ou a ideia que procuram e o modelo destaca todas as áreas correspondentes na imagem. Isto facilita muito a ligação entre a intenção do utilizador e os píxeis efetivos de uma imagem.

Fig. 1. Um exemplo da utilização de prompts de conceitos para segmentação (Fonte)

Orientar a segmentação com diferentes tipos de prompts#

Os modelos que suportam a segmentação de conceitos orientada por prompts são flexíveis porque podem aceitar diferentes tipos de entrada. Por outras palavras, há mais do que uma forma de indicar ao modelo o que deve procurar, como descrições de texto, pistas visuais ou imagens de exemplo.

Vejamos mais de perto cada abordagem:

• Prompts de texto: Frases curtas como “autocarro escolar” ou “região tumoral” podem ser utilizadas para descrever o conceito a segmentar. O modelo interpreta o significado das palavras e identifica as regiões correspondentes.
• Prompts visuais: Estes prompts utilizam pontos, caixas ou esboços aproximados dentro da imagem como pistas. Estes sinais orientam o local a procurar e ajudam a definir o contorno final.
• Exemplos de imagens: Imagens de referência ou pequenos recortes representam o conceito de interesse. O modelo procura regiões visualmente semelhantes e segmenta-as com base na aparência visual.

A diferença entre PCS e a segmentação tradicional#

Antes de aprofundarmos o funcionamento da segmentação de conceitos orientada por prompts, vamos compará-la primeiro com vários métodos tradicionais de segmentação de objetos.

A PCS permite criar modelos de vocabulário aberto e orientados por prompts. Pode trabalhar com novas ideias descritas através de prompts, ao contrário da segmentação tradicional. Existem vários tipos de abordagens tradicionais de segmentação, cada uma com as suas próprias pressuposições e limitações.

Eis uma breve visão geral de alguns tipos fundamentais de segmentação tradicional:

• Segmentação semântica: Cada píxel da imagem é etiquetado como parte de uma categoria, como estrada, edifício ou pessoa. Todos os píxeis com a mesma etiqueta são agrupados, pelo que o modelo não separa instâncias individuais de objetos.
• Segmentação de instâncias: O modelo identifica e segmenta objetos individuais, pelo que duas pessoas ou dois carros são tratados como itens separados.
• Segmentação panótica: Esta técnica combina a segmentação semântica e a segmentação de instâncias para proporcionar uma visão completa da cena, abrangendo tanto as regiões de fundo como os objetos individuais.

Todas estas abordagens dependem de uma lista predefinida de categorias de objetos. Funcionam bem dentro desse âmbito, mas não lidam muito bem com conceitos que ficam fora dele. Quando é necessário segmentar um novo objeto específico, normalmente são necessários dados de treino adicionais e um ajuste fino do modelo.

A PCS pretende mudar isso. Em vez de ficar limitada a categorias predefinidas, permite-te descrever o que queres segmentar numa imagem no momento da inferência.

A evolução dos modelos PCS#

Em seguida, vamos percorrer a evolução dos modelos de segmentação até à segmentação de conceitos orientada por prompts.

Um modelo de base popular que marcou uma mudança na segmentação foi o SAM, ou Segment Anything Model. Foi apresentado em 2023. Em vez de depender de categorias de objetos predefinidas, o SAM permitia aos utilizadores orientar a segmentação através de prompts visuais simples, como pontos ou caixas delimitadoras.

Com o SAM, os utilizadores já não tinham de selecionar uma etiqueta. Podiam simplesmente indicar onde estava um objeto e o modelo gerava uma máscara para ele. Isto tornou a segmentação mais flexível, mas os utilizadores continuavam a ter de mostrar ao modelo onde procurar.

O SAM 2, lançado em 2024, desenvolveu esta ideia ao lidar com cenas mais complexas e ao estender a segmentação orientada por prompts ao vídeo. Melhorou a robustez perante diferentes condições de iluminação, formas de objetos e movimentos, continuando a depender principalmente de prompts visuais para orientar a segmentação.

O modelo SAM 3 é o passo mais recente desta evolução. Foi lançado no ano passado e é um modelo unificado que combina compreensão visual com orientação linguística, permitindo um comportamento consistente em tarefas de segmentação de imagens e vídeos.

Com o SAM 3, os utilizadores não estão limitados a apontar ou desenhar prompts. Em vez disso, podem descrever por texto o que querem segmentar e o modelo procura, na imagem ou nos fotogramas do vídeo, regiões que correspondam a essa descrição.

A segmentação é orientada por conceitos, em vez de categorias fixas de objetos, suportando a utilização de vocabulário aberto em diferentes cenas e ao longo do tempo. Na verdade, o SAM 3 opera num grande espaço de conceitos aprendidos, fundamentado numa ontologia derivada de fontes como a Wikidata e expandida através de dados de treino em larga escala.

Fig. 2. Um exemplo de orientação do SAM 3 por prompts e segmentação de uma única imagem (Fonte)

Em comparação com versões anteriores, que dependiam sobretudo de prompts geométricos, o SAM 3 representa um passo em direção a uma segmentação mais flexível e orientada por conceitos. Isto torna-o mais adequado para aplicações do mundo real, nas quais os objetos ou ideias de interesse podem mudar e nem sempre podem ser definidos antecipadamente.

Explorar o funcionamento da segmentação visual orientada por prompts#

Então, como funciona a segmentação de conceitos orientada por prompts? Baseia-se em grandes modelos de visão pré-treinados e modelos de visão e linguagem, treinados com enormes coleções de imagens e, em muitos casos, texto associado. Este treino permite-lhes aprender padrões visuais gerais e significado semântico.

A maioria dos modelos PCS utiliza arquiteturas baseadas em Transformer, que processam uma imagem inteira de uma só vez para compreender como as diferentes regiões se relacionam entre si. Um Transformer de visão extrai características visuais da imagem, enquanto um codificador de texto converte palavras em representações numéricas com as quais o modelo pode trabalhar.

Durante o treino, estes modelos podem aprender com diferentes tipos de supervisão, incluindo máscaras ao nível dos píxeis que definem limites exatos dos objetos, caixas delimitadoras que localizam aproximadamente os objetos e etiquetas ao nível da imagem que descrevem o que aparece numa imagem. O treino com diferentes tipos de dados anotados ajuda o modelo a captar tanto detalhes minuciosos como conceitos visuais mais amplos.

No momento da inferência, ou seja, quando o modelo é efetivamente utilizado para fazer previsões, a PCS segue um processo orientado por prompts. Um utilizador fornece orientação através de descrições de texto, pistas visuais como pontos ou caixas, ou imagens de exemplo. O modelo codifica tanto o prompt como a imagem numa representação interna partilhada, ou embeddings, e identifica regiões que correspondem ao conceito descrito.

Um descodificador de máscaras converte então esta representação partilhada em máscaras de segmentação precisas ao nível dos píxeis. Como o modelo associa características visuais a significado semântico, consegue segmentar novos conceitos mesmo que estes não tenham sido explicitamente incluídos durante o treino.

Além disso, muitas vezes o resultado pode ser refinado ajustando o prompt ou adicionando orientação adicional, o que ajuda o modelo a lidar com cenas complexas ou ambíguas. Este processo iterativo permite uma otimização prática durante a implementação.

Os modelos de segmentação de conceitos orientada por prompts são normalmente avaliados pela forma como segmentam conceitos anteriormente desconhecidos e pelo seu desempenho robusto em diferentes cenas. Os benchmarks focam-se frequentemente na qualidade das máscaras, na generalização e na eficiência computacional, refletindo os requisitos de implementação no mundo real.

Casos de utilização da PCS no mundo real#

Em seguida, vamos analisar onde a segmentação de conceitos orientada por prompts já está a ser utilizada e a começar a causar um impacto real.

Segmentação flexível de imagens médicas#

A imagiologia médica envolve muitas estruturas biológicas, doenças e tipos de exames, e surgem novos casos todos os dias. Os modelos de segmentação tradicionais têm dificuldade em acompanhar esta variedade.

A PCS adapta-se naturalmente a este contexto porque permite aos profissionais de saúde descrever o que querem encontrar, em vez de escolherem a partir de uma lista curta e rígida. Com frases de texto ou prompts visuais, a PCS pode ser utilizada para segmentar diretamente órgãos ou áreas preocupantes, sem voltar a treinar o modelo para cada nova tarefa. Isto facilita o tratamento de necessidades clínicas diversas, reduz a necessidade de desenhar máscaras manualmente e funciona com muitos tipos de exames de imagem.

Um excelente exemplo é o MedSAM-3, que adapta a arquitetura do SAM 3 para PCS orientada por prompts de texto em imagiologia médica. Este modelo pode receber prompts com termos anatómicos e patológicos explícitos, como nomes de órgãos, por exemplo fígado ou rim, e conceitos relacionados com lesões, como tumor ou lesão. Dado um prompt, o modelo segmenta diretamente a região correspondente na imagem médica.

O MedSAM-3 também integra modelos de linguagem de grande dimensão multimodais (MLLMs ou LLMs multimodais), capazes de raciocinar sobre texto e imagens. Estes modelos funcionam numa configuração com um agente no circuito, na qual os resultados são refinados iterativamente para melhorar a precisão em casos mais difíceis.

Fig. 3. Um pipeline do MedSAM-3 para segmentação de tumores orientada por texto em imagens médicas (Fonte)

O MedSAM-3 apresenta um bom desempenho em dados de raios X, MRI, CT, ecografia e vídeo, demonstrando como a PCS pode permitir fluxos de trabalho de imagiologia médica mais flexíveis e eficientes em contextos clínicos reais.

Segmentação adaptativa para cirurgia robótica e automação#

A cirurgia robótica depende de sistemas de visão para acompanhar instrumentos e compreender cenas cirúrgicas em rápida mudança. Os instrumentos movem-se rapidamente, a iluminação varia e podem surgir novas ferramentas a qualquer momento, o que torna difícil manter sistemas de etiquetas predefinidos.

Com a PCS, os robôs podem acompanhar instrumentos, orientar câmaras e seguir etapas cirúrgicas em tempo real. Isto reduz a anotação manual e torna os sistemas mais fáceis de adaptar a diferentes procedimentos. Os cirurgiões ou sistemas automatizados podem utilizar prompts de texto como “pinça”, “bisturi” ou “instrumento de câmara” para indicar o que deve ser segmentado numa imagem.

Fig. 4. Segmentação de instrumentos cirúrgicos utilizados durante cirurgia robótica (Fonte)

Segmentação de vocabulário aberto com o Ultralytics YOLOE-26#

Outro modelo de vanguarda interessante relacionado com a segmentação de conceitos orientada por prompts é o nosso Ultralytics YOLOE-26. O nosso modelo introduz a segmentação de vocabulário aberto orientada por prompts na família de modelos Ultralytics YOLO.

O YOLOE-26 baseia-se na arquitetura Ultralytics YOLO26 e suporta segmentação de instâncias de vocabulário aberto. O YOLOE-26 permite aos utilizadores orientar a segmentação de várias formas.

Suporta prompts de texto, nos quais frases curtas fundamentadas visualmente podem especificar o objeto-alvo, bem como prompts visuais, que fornecem orientação adicional com base em pistas da imagem. Além disso, o YOLOE-26 inclui um modo sem prompts para inferência zero-shot, no qual o modelo deteta e segmenta objetos a partir de um vocabulário integrado sem exigir prompts do utilizador.

O YOLOE-26 é excelente para aplicações como análise de vídeo, perceção robótica e sistemas de edge, nos quais as categorias de objetos podem mudar, mas a baixa latência e um débito fiável continuam a ser essenciais. É também especialmente útil para anotação de dados e curadoria de conjuntos de dados, pois simplifica os fluxos de trabalho ao automatizar partes do processo de anotação.

Vantagens e desvantagens da segmentação de conceitos orientada por prompts#

Eis alguns dos principais benefícios da utilização da segmentação de conceitos orientada por prompts:

• Iteração e prototipagem mais rápidas: As novas tarefas de segmentação podem ser testadas rapidamente alterando os prompts, em vez de reconstruir conjuntos de dados ou voltar a treinar modelos, o que acelera a experimentação e o desenvolvimento.
• Adaptabilidade entre domínios: O mesmo modelo PCS pode muitas vezes ser aplicado a diferentes domínios, como imagiologia médica, robótica ou análise de vídeo, com alterações mínimas no fluxo de trabalho.
• Refinamento interativo: Os utilizadores podem ajustar iterativamente os prompts ou adicionar orientação para melhorar os resultados, facilitando o tratamento de cenas ambíguas ou casos extremos sem voltar a treinar o modelo.

Embora a PCS tenha vantagens claras, eis algumas limitações a considerar:

• Sensibilidade aos prompts: Pequenas alterações na forma como um prompt é escrito ou fornecido podem afetar o resultado. Prompts demasiado vagos ou demasiado específicos podem levar a uma segmentação incompleta ou incorreta.
• Comportamento menos previsível: Como o modelo interpreta prompts em vez de selecionar etiquetas fixas, os resultados podem variar mais entre cenas e entradas, o que pode ser um problema em pipelines rigorosamente controlados.
• Interpretação ambígua de conceitos: Alguns conceitos são subjetivos ou pouco definidos, o que pode originar resultados de segmentação inconsistentes entre utilizadores ou entre imagens.
• Fiabilidade limitada para alvos altamente específicos: Os modelos baseados em prompts são geralmente menos fiáveis para tarefas estreitamente definidas e específicas de cada instância, como a deteção de defeitos, nas quais é necessária uma identificação precisa e consistente de características subtis.

Escolher entre a segmentação orientada por prompts e a segmentação tradicional#

Ao explorares a segmentação orientada por prompts, podes perguntar-te para que aplicações é mais adequada e quando um modelo tradicional de visão computacional, como o Ultralytics YOLO26, é uma escolha melhor para o problema que estás a tentar resolver. A segmentação orientada por prompts funciona bem para objetos gerais, mas não é adequada para casos de utilização que exigem resultados muito precisos e consistentes.

A deteção de defeitos é um bom exemplo. Na indústria transformadora, os defeitos são frequentemente pequenos e subtis, como riscos, amolgadelas, desalinhamentos ou irregularidades de superfície. Também podem variar muito consoante os materiais, a iluminação e as condições de produção.

É difícil descrever estes problemas com um prompt simples e ainda mais difícil para um modelo de uso geral detetá-los de forma fiável. De um modo geral, os modelos baseados em prompts tendem a não detetar defeitos ou a produzir resultados instáveis, enquanto os modelos treinados especificamente com dados de defeitos são muito mais fiáveis para sistemas de inspeção do mundo real.

Principais conclusões#

A segmentação de conceitos orientada por prompts torna os sistemas de visão mais fáceis de adaptar ao mundo real, onde surgem constantemente novos objetos e ideias. Em vez de ficarem limitados a etiquetas fixas, os utilizadores podem simplesmente descrever o que querem segmentar e deixar o modelo tratar do resto, poupando tempo e reduzindo o trabalho manual. Embora ainda tenha limitações, a PCS já está a mudar a forma como a segmentação é utilizada na prática e deverá tornar-se uma parte essencial dos futuros sistemas de visão.

Explora mais sobre IA visitando o nosso repositório no GitHub e juntando-te à nossa comunidade. Consulta as nossas páginas de soluções para saber mais sobre IA na robótica e visão computacional na indústria transformadora. Descobre as nossas opções de licenciamento para começares hoje a utilizar IA de visão!