Experimentar o YOLO-World na prática

Os projetos de visão computacional geralmente envolvem passar muito tempo anotando dados e treinando modelos de deteção de objetos. Mas isso pode em breve ficar no passado. O Tencent’s AI Lab lançou o YOLO-World, um modelo de deteção de objetos em tempo real e com vocabulário aberto, em 31 de janeiro de 2024. O YOLO-World é um modelo zero-shot, o que significa que podes executar inferências de deteção de objetos em imagens sem ter de o treinar.

Os modelos zero-shot têm potencial para mudar a forma como abordamos as aplicações de visão computacional. Neste artigo, vamos explorar como o YOLO-World funciona, as suas utilizações potenciais e partilhar um exemplo prático de código para começares.

Uma visão geral do YOLO-World#

Podes enviar uma imagem e um prompt de texto que descreva os objetos que procuras através do modelo YOLO-World. Por exemplo, se estiveres interessado em encontrar "uma pessoa a usar uma camisa vermelha" numa fotografia, o YOLO-World recebe estes dados e começa a trabalhar.

A arquitetura exclusiva do modelo combina três elementos principais:

• Um detetor baseado no modelo de deteção de objetos Ultralytics YOLOv8, para analisar o conteúdo visual da imagem.
• Um codificador de texto pré-treinado pelo CLIP da OpenAI, concebido especificamente para compreender o teu prompt de texto.
• Uma rede, a Rede de Agregação de Percursos de Visão-Linguagem (RepVL-PAN), que integra os dados de imagem processados com os dados de texto.

O detetor YOLO analisa a tua imagem de entrada para identificar possíveis objetos. O codificador de texto transforma a tua descrição num formato que o modelo consegue compreender. Estes dois fluxos de informação são então combinados através da RepVL-PAN usando fusão de modalidades cruzadas em vários níveis. Isto permite ao YOLO-World detetar e localizar com precisão, na imagem, os objetos descritos no teu prompt.

Um exemplo de resultados do YOLO-World.

Vantagens de escolher o YOLO-World#

Uma das maiores vantagens de usar o YOLO-World é não teres de treinar o modelo para uma classe específica. O modelo já aprendeu com pares de imagens e textos, por isso sabe encontrar objetos com base em descrições. Podes evitar horas a recolher dados, anotar dados, treinar em GPUs dispendiosas, entre outras tarefas.

Eis outras vantagens de usar o YOLO-World:

• Desempenho em tempo real - O YOLO-World oferece desempenho em tempo real, tal como a arquitetura YOLO original. É ideal para aplicações que exigem deteção imediata de objetos, como veículos autónomos e sistemas de vigilância.
• Segmentação de instâncias - O YOLO-World consegue delimitar e separar claramente objetos em imagens, mesmo que esses objetos não tenham sido ensinados especificamente durante o treino.
• Eficiência - O YOLO-World combina elevada precisão com eficiência computacional, tornando-o prático para aplicações do mundo real. A sua arquitetura simplificada permite uma deteção rápida de objetos sem exigir demasiado poder de processamento.

Aplicações do YOLO-World#

Os modelos YOLO-World podem ser usados numa grande variedade de aplicações. Vamos explorar algumas delas.

Controlo de qualidade na indústria transformadora#

Os produtos fabricados numa linha de montagem são inspecionados visualmente para detetar defeitos antes de serem embalados. A deteção de defeitos é frequentemente feita manualmente, o que demora tempo e pode causar erros. Estes erros podem provocar problemas como custos elevados e a necessidade de reparações ou recolhas. Para ajudar neste processo, foram criadas câmaras especiais de visão industrial e sistemas de IA que realizam estas inspeções.

Os modelos YOLO-World representam um grande avanço nesta área. Graças às suas capacidades zero-shot, conseguem encontrar defeitos nos produtos mesmo quando não foram treinados para esse problema específico. Por exemplo, uma fábrica que produz garrafas de água pode identificar facilmente, com o YOLO-World, a diferença entre uma garrafa corretamente selada com uma tampa e uma garrafa cuja tampa esteja em falta ou apresente defeito.

Um exemplo de inspeção de tampas de garrafas.

Robótica#

Os modelos YOLO-World permitem que os robôs interajam com ambientes desconhecidos. Mesmo sem terem sido treinados com objetos específicos que possam estar numa divisão, conseguem identificar que objetos estão presentes. Por exemplo, imaginemos que um robô entra numa divisão onde nunca esteve. Com um modelo YOLO-World, ainda consegue reconhecer e identificar objetos como cadeiras, mesas ou candeeiros, mesmo que não tenha sido treinado especificamente com esses itens.

Além da deteção de objetos, o YOLO-World também consegue determinar o estado desses objetos, graças à sua funcionalidade 'prompt-then-detect'. Por exemplo, na robótica agrícola, pode ser usado para identificar frutos maduros e frutos verdes, programando o robô para os detetar.

IA na indústria automóvel#

A indústria automóvel envolve muitas peças móveis, e o YOLO-World pode ser usado em diferentes aplicações automóveis. Por exemplo, na manutenção de veículos, a capacidade do YOLO-World para reconhecer uma grande variedade de objetos sem etiquetagem manual ou pré-treino extensivo é extremamente útil. O YOLO-World pode ser usado para identificar peças de automóveis que precisam de ser substituídas. Pode até automatizar tarefas como verificações de qualidade, detetando defeitos ou peças em falta em automóveis novos.

Outra aplicação é a deteção de objetos zero-shot em carros autónomos. As capacidades de deteção zero-shot do YOLO-World podem melhorar a capacidade de um veículo autónomo para detetar e classificar objetos na estrada, como peões, sinais de trânsito e outros veículos, em tempo real. Desta forma, pode ajudar a detetar obstáculos e prevenir acidentes, tornando a viagem mais segura.

Um exemplo de deteção de objetos numa estrada.

Gestão de inventário em lojas de retalho#

Identificar objetos nas prateleiras de lojas de retalho é uma parte importante do acompanhamento do inventário, da manutenção dos níveis de stock e da automatização de processos. A capacidade do Ultralytics YOLO-World para reconhecer uma grande variedade de objetos sem etiquetagem manual ou pré-treino extensivo é extremamente útil para a gestão de inventário.

Por exemplo, na gestão de inventário, o YOLO-World pode identificar e categorizar rapidamente itens numa prateleira, como diferentes marcas de bebidas energéticas. As lojas de retalho podem manter um inventário preciso, gerir os níveis de stock de forma eficiente e otimizar as operações da cadeia de abastecimento.

Todas as aplicações são únicas e mostram até que ponto o YOLO-World pode ser utilizado. Agora, vamos experimentar o YOLO-World na prática e analisar um exemplo de código.

Uma análise passo a passo do código#

Como mencionámos anteriormente, o YOLO-World pode ser usado para detetar diferentes peças de um automóvel para fins de manutenção. Uma aplicação de visão computacional que detete reparações necessárias teria de tirar uma fotografia do automóvel, identificar as peças, examinar cada peça quanto a danos e recomendar reparações. Cada parte deste sistema usaria diferentes técnicas e abordagens de IA. Para esta análise do código, vamos concentrar-nos na etapa em que as peças do automóvel são detetadas.

Com o YOLO-World, podes identificar diferentes peças de um automóvel numa imagem em menos de 5 minutos. Também podes estender este código para experimentar diferentes aplicações com o YOLO-World! Para começar, teremos de instalar o pacote Ultralytics com pip, conforme mostrado abaixo.

Para obteres mais instruções e boas práticas relacionadas com o processo de instalação, consulta o nosso guia de Instalação do Ultralytics. Durante a instalação dos pacotes necessários para o YOLOv8, se encontrares alguma dificuldade, consulta o nosso guia de Problemas comuns para obteres soluções e sugestões.

Depois de instalares o pacote necessário, podemos descarregar uma imagem da Internet para executar as nossas inferências. Vamos usar a imagem abaixo.

A nossa imagem de entrada.

Em seguida, vamos importar o pacote necessário, inicializar o nosso modelo e definir as classes que procuramos na imagem de entrada. Neste caso, estamos interessados nas seguintes classes: carro, roda, porta do carro, espelho do carro e matrícula.

Depois, usaremos o método predict, fornecendo o caminho da imagem juntamente com parâmetros para o número máximo de deteções e limiares de interseção sobre união (IoU) e confiança (conf), para executar uma inferência na imagem. Por fim, os objetos detetados são guardados num ficheiro chamado 'result.jpg.'

A imagem de saída seguinte será guardada nos teus ficheiros.

A nossa imagem de saída.

Se preferires ver o que o YOLO-World consegue fazer sem programar, podes aceder à página de demonstração do YOLO-World, carregar uma imagem de entrada e introduzir as classes personalizadas.

Lê a nossa página da documentação sobre o YOLO-World para aprenderes a guardar o modelo com as classes personalizadas, de modo a poderes utilizá-lo diretamente mais tarde sem voltares a introduzir as classes personalizadas.

Reparaste que as portas do carro não foram detetadas?#

Se voltares a analisar a imagem de saída, vais reparar que a classe personalizada “car door” não foi detetada. Apesar das suas grandes conquistas, o YOLO-World tem algumas limitações. Para combater essas limitações e usar o modelo YOLO-World de forma eficaz, é importante utilizar os tipos corretos de prompts textuais.

Eis algumas informações úteis:

• O YOLO-World pode não precisar de níveis de confiança elevados para fazer previsões precisas, por isso reduzir os limiares de confiança pode melhorar as taxas de deteção.
• Adiciona classes que não te interessam. Isto ajudará a melhorar a deteção de objetos principal, reduzindo os falsos positivos de objetos secundários.
• Detetar primeiro objetos maiores, antes de te concentrares nos detalhes mais pequenos, pode melhorar a precisão da deteção.
• Menciona as cores nas tuas classes para detetar objetos com base em pistas de cor.
• Descrever o tamanho dos objetos nos prompts também pode ajudar o YOLO-World a identificar objetos específicos com maior precisão.
• Os métodos de pós-processamento, como filtrar previsões por tamanho ou ajustar os níveis de confiança por classe, podem melhorar ainda mais os resultados da deteção de objetos.

Os limites são infinitos#

De modo geral, os modelos YOLO-World podem transformar-se numa ferramenta poderosa graças às suas capacidades avançadas de deteção de objetos. Oferecem grande eficiência e precisão e ajudam a automatizar diferentes tarefas em várias aplicações, como o exemplo de identificação de peças de automóveis que discutimos na prática.

Sente-te à vontade para explorar o nosso repositório no GitHub e saber mais sobre os nossos contributos para a visão computacional e a IA. Se tens curiosidade sobre como a IA está a transformar setores como a tecnologia de cuidados de saúde, consulta as nossas páginas de soluções. As possibilidades de inovações como o YOLO-World parecem ser infinitas!