Colocando a mão na massa com o YOLO-World

Os projetos de visão computacional frequentemente envolvem passar muito tempo anotando dados e treinando modelos de object detection. Mas isso pode estar prestes a virar coisa do passado. O laboratório de IA da Tencent lançou o YOLO-World em 31 de janeiro de 2024, um modelo de detecção de objetos em tempo real e de vocabulário aberto. O YOLO-World é um modelo zero-shot, o que significa que podes executar inferências de detecção de objetos em imagens sem precisares de o treinar.

Modelos zero-shot têm o potencial de mudar a forma como abordamos aplicações de visão computacional. Neste blog, exploraremos como o YOLO-World funciona e seus usos potenciais, e compartilharemos um exemplo de código prático para você começar.

Uma olhada no YOLO-World#

Você pode passar uma imagem e um prompt de texto descrevendo quais objetos você está procurando através do modelo YOLO-World. Por exemplo, se você estiver interessado em encontrar "uma pessoa usando uma camisa vermelha" dentro de uma foto, o YOLO-World pega esse input e entra em ação.

A arquitetura única do modelo combina três elementos principais:

• Um detetor baseado no modelo de deteção de objetos Ultralytics YOLOv8 para analisar o conteúdo visual da imagem.
• Um codificador de texto pré-treinado pelo CLIP da OpenAI, projetado especificamente para entender seu prompt de texto.
• Uma rede, a Vision-Language Path Aggregation Network (RepVL-PAN), que integra os dados de imagem processados com os dados de texto.

O detector YOLO escaneia sua imagem de input para identificar objetos potenciais. O codificador de texto transforma sua descrição em um formato que o modelo consegue entender. Esses dois fluxos de informação são então mesclados através da RepVL-PAN usando fusão de multimodalidade de múltiplos níveis. Isso permite que o YOLO-World detecte e localize com precisão os objetos descritos no seu prompt dentro da imagem.

Um exemplo de resultados do YOLO-World.

Benefícios de escolher o YOLO-World#

Uma das maiores vantagens de usar o YOLO-World é que você não precisa treinar o modelo para uma classe específica. Ele já aprendeu com pares de imagens e textos, então sabe como encontrar objetos com base em descrições. Você pode evitar horas coletando dados, anotando dados, treinando em GPUs caras, e assim por diante.

Aqui estão outros benefícios de usar o YOLO-World:

• Desempenho em Tempo Real - O YOLO-World suporta desempenho em tempo real assim como a arquitetura original do YOLO. É ideal para aplicações que exigem detecção de objetos imediata, como veículos autônomos e sistemas de vigilância.
• Instance Segmentation - O YOLO-World consegue delinear e separar claramente objetos em imagens, mesmo que esses objetos não tenham sido especificamente ensinados durante o seu treino.
• Eficiência - O YOLO-World combina alta precisão com eficiência computacional, tornando-o prático para aplicações do mundo real. Sua arquitetura simplificada torna possível uma detecção de objetos rápida sem exigências excessivas de poder de processamento.

As aplicações do YOLO-World#

Modelos YOLO-World podem ser usados para uma grande variedade de aplicações. Vamos explorar algumas delas.

Controle de qualidade na manufatura#

Os produtos manufactured numa linha de montagem são inspecionados visualmente quanto a defeitos antes de serem embalados. A deteção de defeitos é frequentemente feita à mão, o que demora tempo e pode dar azo a erros. Estes erros podem causar problemas como custos elevados e a necessidade de reparações ou recolhas. Para ajudar nisto, foram criadas câmaras especiais de visão artificial e sistemas de IA para realizar estas verificações.

Modelos YOLO-World são um grande avanço nesta área. Eles podem encontrar defeitos em produtos mesmo quando não foram treinados para aquele problema específico usando suas habilidades zero-shot. Por exemplo, uma fábrica que produz garrafas de água pode facilmente identificar a diferença entre uma garrafa selada corretamente com uma tampa e uma garrafa onde a tampa foi esquecida ou está com defeito usando o YOLO-World.

Um exemplo de inspeção de tampa de garrafa.

Robótica#

Modelos YOLO-World permitem que robôs interajam com ambientes desconhecidos. Sem serem treinados em objetos específicos que possam estar em uma sala, eles ainda podem identificar quais objetos estão presentes. Então, digamos que um robô entre em uma sala onde nunca esteve antes. Com um modelo YOLO-World, ele ainda pode reconhecer e identificar objetos como cadeiras, mesas ou lâmpadas, mesmo que não tenha sido treinado especificamente nesses itens.

Para além da deteção de objetos, o YOLO-World também consegue determinar as condições desses objetos, graças à sua funcionalidade de 'prompt-then-detect'. Por exemplo, na robótica agricultural, pode ser usado para identificar frutos maduros versus frutos não maduros, programando o robô para os detetar.

IA na indústria automobilística#

A indústria automobilística envolve muitas peças móveis, e o YOLO-World pode ser usado para diferentes aplicações automotivas. Por exemplo, quando se trata de manutenção de carros, a capacidade do YOLO-World de reconhecer uma grande variedade de objetos sem marcação manual ou pré-treinamento extensivo é extremamente útil. O YOLO-World pode ser usado para identificar peças de carro que precisam ser substituídas. Ele poderia até automatizar tarefas como verificações de qualidade, detectando defeitos ou peças faltantes em carros novos.

Outra aplicação é a deteção de objetos zero-shot em self-driving cars. As capacidades de deteção zero-shot do YOLO-World podem melhorar a capacidade de um veículo autónomo para detetar e classificar objetos na estrada, tais como peões, sinais de trânsito e outros veículos, em tempo real. Ao fazê-lo, pode ajudar a detetar obstáculos e a evitar acidentes para uma viagem mais segura.

Um exemplo de detecção de objetos em uma estrada.

Gestão de inventário para lojas de varejo#

Identificar objetos em prateleiras em lojas de varejo é uma parte importante do rastreamento de inventário, manutenção de estoques e automação de processos. A capacidade do Ultralytics YOLO-World de reconhecer uma grande variedade de objetos sem marcação manual ou pré-treinamento extensivo é extremamente útil para a gestão de inventário.

Por exemplo, na gestão de inventory management, o YOLO-World pode detetar e categorizar rapidamente itens numa prateleira, tais como diferentes marcas de bebidas energéticas. As lojas de retalho podem manter um inventário preciso, gerir os níveis de stock de forma eficiente e otimizar as operações da cadeia de abastecimento.

Todas as aplicações são únicas e mostram quão extensivamente o YOLO-World pode ser usado. A seguir, vamos colocar a mão na massa com o YOLO-World e dar uma olhada em um exemplo de codificação.

Um passo a passo do código#

Como mencionamos anteriormente, o YOLO-World pode ser usado para detectar diferentes peças de um carro para manutenção. Uma aplicação de visão computacional que detecta quaisquer reparos necessários envolveria tirar uma foto do carro, identificar as peças, examinar cada parte do carro em busca de danos e recomendar reparos. Cada parte deste sistema usaria diferentes técnicas e abordagens de IA. Para o propósito deste passo a passo de código, vamos focar na parte onde as peças do carro são detectadas.

Com o YOLO-World, podes identificar diferentes peças de carros numa imagem em menos de 5 minutos. Podes expandir este código para testar diferentes aplicações usando também o YOLO-World! Para começar, precisaremos de instalar o Ultralytics package via pip, conforme mostrado abaixo.

Para mais instruções e boas práticas relacionadas com o processo de instalação, consulta o nosso guia de Ultralytics Installation. Ao instalares os pacotes necessários para o YOLOv8, se encontrares alguma dificuldade, dá uma vista de olhos ao nosso Common Issues guide para obteres soluções e dicas.

Assim que tiver instalado o pacote necessário, podemos baixar uma imagem da Internet para executar nossas inferências. Vamos usar a imagem abaixo.

Nossa imagem de input.

Então, importaremos o pacote necessário, inicializaremos nosso modelo e definiremos as classes que estamos procurando em nossa imagem de input. Aqui, estamos interessados nas seguintes classes: carro, roda, porta de carro, retrovisor e placa de licença.

Usaremos então o método predict, fornecendo o caminho da imagem junto com parâmetros para o número máximo de detecções e limites para intersecção sobre união (IoU) e confiança (conf) para executar uma inferência na imagem. Por último, os objetos detectados são salvos em um arquivo chamado 'result.jpg'.

A imagem de saída a seguir será salva em seus arquivos.

Nossa imagem de output.

Se você preferir ver o que o YOLO-World pode fazer sem codificar, você pode ir para a página de Demonstração do YOLO-World, fazer o upload de uma imagem de input e inserir as classes personalizadas.

Lê a nossa docs page on YOLO-World para aprenderes como guardar o modelo com as classes personalizadas para que possa ser utilizado diretamente mais tarde sem introduzires classes personalizadas repetidamente.

Você notou que as portas do carro não foram detectadas?#

Se você der uma olhada na imagem de output novamente, notará que a classe personalizada “car door” (porta de carro) não foi detectada. Apesar de suas grandes conquistas, o YOLO-World tem certas limitações. Para combater essas limitações e usar o modelo YOLO-World de forma eficaz, é importante usar os tipos corretos de prompts de texto.

Aqui estão alguns insights sobre isso:

• O YOLO-World pode não precisar de níveis altos de confiança para previsões precisas, portanto, reduzir os limites de confiança pode melhorar as taxas de detecção.
• Adiciona classes nas quais não estejas interessado. Isto ajudará a melhorar a object detection principal, reduzindo falsos positivos para objetos secundários.
• Detectar objetos maiores primeiro antes de focar em detalhes menores pode melhorar a precisão da detecção.
• Mencione cores em suas classes para detectar objetos com base em pistas de cor.
• Descrever tamanhos de objetos em prompts também pode ajudar o YOLO-World a identificar objetos específicos com mais precisão.
• Métodos de pós-processamento, como filtrar previsões por tamanho ou ajustar níveis de confiança por classe, podem melhorar ainda mais os resultados da detecção de objetos.

Os limites são infinitos#

No geral, os modelos YOLO-World podem tornar-se numa ferramenta poderosa com as suas capacidades avançadas de deteção de objetos. Proporciona grande eficiência, precisão e ajuda a automatizar diferentes tarefas em várias aplicações, como o exemplo de identifying car parts que discutimos na prática.

Sente-te à vontade para explorar o nosso GitHub repository para saberes mais sobre as nossas contribuições para a visão computacional e a IA. Se tens curiosidade sobre como a IA está a remodelar setores como a tecnologia de healthcare, consulta as nossas páginas de soluções. As possibilidades com inovações como o YOLO-World parecem ser infinitas!