O que é o YOLOE? Levar os modelos de visão computacional mais longe

A deteção de objetos é uma tarefa essencial de visão computacional, cujo objetivo é identificar e localizar objetos em imagens ou vídeos. É uma parte crucial da visão computacional, uma área da inteligência artificial (AI) que permite às máquinas compreender e interpretar dados visuais. Por exemplo, a deteção de objetos pode ajudar a identificar um carro numa imagem ou detetar uma pessoa numa transmissão de vídeo.

Uma das séries de modelos mais conhecidas que suportam tarefas de visão computacional, como a deteção de objetos, é a série de modelos YOLO (You Only Look Once). Concebidos para oferecer velocidade e precisão, os modelos YOLO têm melhorado continuamente ao longo do tempo. Por exemplo, uma das versões mais recentes, o Ultralytics YOLO11, apresenta um bom desempenho em situações reais, fornecendo resultados precisos mesmo em ambientes mais complexos.

Dando continuidade a este progresso, um novo modelo chamado YOLOE pretende expandir as capacidades dos modelos YOLO. Ao contrário dos modelos tradicionais, que precisam de ser treinados novamente para reconhecer novos objetos, o YOLOE pode seguir prompts simples de texto ou imagem para detetar objetos que nunca viu antes, tornando-se muito mais adaptável a ambientes em mudança.

Neste artigo, vamos analisar mais detalhadamente o que torna o YOLOE único, como se compara com os modelos YOLO anteriores e como podes começar a utilizá-lo hoje. Vamos começar!

Uma visão geral do YOLOE#

O YOLOE é um modelo de visão computacional que leva a deteção de objetos mais longe. Foi apresentado em março de 2025 por investigadores da Universidade de Tsinghua. O que distingue o YOLOE dos modelos tradicionais é a utilização de deteção de vocabulário aberto.

Enquanto a maioria dos modelos é treinada para reconhecer uma lista fixa de objetos, o YOLOE permite especificar o que procurar utilizando uma descrição curta ou uma imagem de exemplo. Por exemplo, se estiveres à procura de uma “mochila verde”, podes escrever essa descrição ou mostrar uma fotografia ao modelo, e o YOLOE irá localizá-la na cena.

Além disso, mesmo sem qualquer prompt, o YOLOE consegue detetar muitos objetos do dia a dia por si só. Esta capacidade de reconhecer objetos que nunca viu antes chama-se deteção zero-shot. É particularmente útil em ambientes dinâmicos, onde a tarefa ou os objetos de interesse podem mudar inesperadamente.

Fig. 1. Uma visão geral das capacidades do YOLOE.

Principais funcionalidades do YOLOE#

O YOLOE suporta uma vasta gama de funcionalidades concebidas para melhorar o seu desempenho em aplicações reais. Com a capacidade de processar entradas estruturadas e não estruturadas, o YOLOE abre novas possibilidades para a deteção e segmentação de objetos.

Eis algumas das principais funcionalidades que o modelo oferece:

• Deteção baseada em prompts: O YOLOE pode procurar objetos com base num prompt de texto curto ou numa imagem de exemplo. Isto significa que não precisas de treinar novamente o modelo sempre que a tua tarefa muda; basta descreveres ou mostrares ao modelo aquilo que procuras.
• Segmentação de instâncias: Além de desenhar caixas delimitadoras à volta dos objetos, o YOLOE pode delinear a sua forma exata utilizando a segmentação de instâncias. Isto é especialmente útil quando os objetos se sobrepõem ou quando precisas de conhecer os limites precisos de um objeto.
• Reconhecimento de objetos sem prompts: O YOLOE consegue reconhecer objetos mesmo sem instruções específicas. Utiliza um conjunto de descrições pré-aprendidas para identificar rapidamente os objetos, tornando o processo mais rápido e eficiente.

Comparação do YOLOE com outros modelos YOLO#

Agora que compreendemos melhor o que é o YOLOE, vamos analisar alguns dos modelos semelhantes da família YOLO.

À medida que a visão computacional evoluiu, os modelos YOLO também evoluíram. Por exemplo, o Ultralytics YOLOv8 introduziu suporte para novas tarefas, como segmentação e classificação, enquanto versões posteriores, como o Ultralytics YOLO11, se concentraram em melhorar a precisão e o desempenho para uma gama mais ampla de tarefas.

Além disso, o YOLO-World foi lançado em janeiro de 2024 e introduziu a capacidade de utilizar prompts escritos, permitindo aos utilizadores descrever os objetos que pretendem encontrar. Embora o YOLO-World fosse uma excelente opção para deteção zero-shot, não incluía funcionalidades como segmentação de instâncias e suporte para prompts visuais.

O YOLOE baseia-se no YOLO-World ao adicionar estas capacidades, melhorando a flexibilidade e o desempenho e oferecendo uma ferramenta mais eficaz para aplicações de visão computacional no mundo real.

Fig. 2. O YOLO-World e o YOLOE suportam ambos a deteção zero-shot.

Utilizar o YOLOE com o pacote Python da Ultralytics#

Quer queiras detetar objetos específicos ou explorar tudo o que existe numa imagem, começar a utilizar o YOLOE é simples. Este modelo é suportado pelo pacote Python da Ultralytics, o que facilita a sua integração nos teus projetos. De seguida, vamos explicar como utilizá-lo.

Instalar o pacote Ultralytics#

O primeiro passo é instalar o pacote Python da Ultralytics utilizando um gestor de pacotes, como o ‘pip’. Podes fazê-lo executando o comando “pip install ultralytics” no teu terminal ou na linha de comandos.

Depois de instalares o pacote, terás tudo o que precisas para carregar o modelo, fazer previsões e experimentar diferentes modos de deteção. Se encontrares algum problema durante a instalação, a documentação oficial da Ultralytics disponibiliza uma útil secção de resolução de problemas.

Existem várias formas de utilizar o YOLOE para executar previsões. Executar previsões significa utilizar o modelo treinado para identificar e localizar objetos em imagens ou vídeos. Estes diferentes métodos permitem personalizar a forma como interages com o modelo de acordo com as tuas necessidades específicas.

Vamos analisar cada um destes métodos, um de cada vez.

Detetar objetos específicos com prompts de texto ou imagem#

O YOLOE consegue detetar objetos com base numa descrição de texto curta. Por exemplo, se estiveres à procura de um cavalo em movimento, podes utilizar um prompt como "horse walking".

Para começar, carrega primeiro o modelo YOLOE pré-treinado e define o teu prompt (a descrição do que queres que o modelo procure), conforme mostrado no excerto de código abaixo.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

Depois de definires o modelo e o prompt, podes executar o modelo numa imagem ou num vídeo. Substitui o caminho do ficheiro no código pelo caminho para o teu ficheiro de imagem ou vídeo:

results = model.predict("path/to/your/image.jpg")
results[0].show()

Isto irá apresentar a imagem com o objeto detetado claramente assinalado com base no teu prompt. Podes alterar o prompt para procurar objetos diferentes, como "red suitcase", "bicycle" ou "zebra", dependendo do que procuras.

Fig. 3. Um exemplo de utilização do YOLOE para detetar objetos específicos com um prompt de texto.

Da mesma forma, podes utilizar uma imagem para fornecer um prompt ao YOLOE com o pacote Python da Ultralytics. No modo de prompt visual, o modelo utiliza a imagem para encontrar itens semelhantes noutra cena. Isto é particularmente útil para objetos difíceis de descrever ou que não têm rótulos claros.

Para explorares o código em mais detalhe, consulta a documentação da Ultralytics.

Deteção geral de objetos com o YOLOE#

Em alguns casos, podes não saber exatamente o que procurar ou podes não estar à procura de um objeto específico. É aqui que o modo sem prompts se torna útil.

Com esta opção, não precisas de escrever uma descrição nem de fornecer uma imagem de exemplo. O YOLOE analisa simplesmente as imagens por si só e deteta tudo o que consegue reconhecer, como pessoas, animais, mobiliário ou objetos do dia a dia.

É uma forma útil de explorar uma cena sem fornecer instruções específicas ao modelo. Quer estejas a analisar uma sala cheia de pessoas ou a rever imagens com muita atividade, o modo sem prompts dá-te uma visão rápida do que está presente numa imagem.

Podes utilizar o código seguinte para executar o YOLOE no modo sem prompts. Primeiro, o modelo é carregado; depois, processa a imagem e deteta automaticamente os objetos nela presentes. Por fim, os resultados são apresentados e os objetos detetados são destacados.

Não te esqueças de substituir o caminho do ficheiro pelo caminho real para a tua imagem.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

A imagem abaixo mostra um exemplo do que o YOLOE consegue detetar no modo sem prompts.

Fig. 4. Utilizar o YOLOE no modo sem prompts.

Aplicações do YOLOE em tempo real#

A capacidade do YOLOE de responder a prompts de texto e imagem torna-o uma ferramenta fiável para aplicações em tempo real. A sua flexibilidade é particularmente útil em ambientes dinâmicos, onde o tempo e a precisão são essenciais.

Vamos explorar alguns exemplos reais de utilização do YOLOE.

Melhorar o manuseamento de bagagem: deteção de bagagem em tempo real#

Em aeroportos movimentados, localizar uma bagagem específica pode ser um desafio, especialmente quando há malas extraviadas. O YOLOE pode simplificar este processo ao ajudar a analisar vídeos em direto e a identificar rapidamente itens com base em prompts simples, como “red bag”.

Se uma mala estiver em falta ou tiver sido colocada no local errado, os funcionários podem alterar facilmente o prompt para procurar um item diferente, como uma “black suitcase”. Esta capacidade de adaptação instantânea pode ajudar o pessoal do aeroporto a localizar rapidamente a bagagem certa sem rever longas horas de gravações nem treinar novamente o modelo, tornando o manuseamento de bagagem e a resolução de problemas relacionados com bagagem extraviada muito mais rápidos e eficientes.

Monitorizar espaços públicos com o YOLOE#

As imagens de videovigilância de espaços públicos, como mercados e cafés movimentados, incluem frequentemente uma mistura de pessoas, objetos e atividades que mudam ao longo do dia. O YOLOE pode analisar estas imagens em tempo real utilizando o modo sem prompts, detetando automaticamente itens como malas, mesas ou bicicletas sem precisar de instruções específicas.

Fig. 5. O YOLOE consegue detetar vários objetos num espaço público movimentado.

Isto é particularmente útil para equipas de segurança, que podem detetar itens abandonados ou acompanhar o movimento das multidões. A capacidade do YOLOE de detetar vários objetos ao mesmo tempo facilita a gestão de espaços públicos durante eventos ou períodos movimentados, ajudando as equipas a manterem-se informadas e preparadas para responder.

Vantagens e desvantagens do YOLOE#

Eis alguns dos principais benefícios da utilização do YOLOE em aplicações de visão computacional:

• Desempenho em tempo real: O YOLOE está otimizado para um processamento rápido e eficiente, permitindo a deteção em tempo real, mesmo em ambientes dinâmicos, como transmissões de vídeo em direto ou espaços públicos movimentados.
• Escalabilidade: O YOLOE é escalável e funciona bem numa grande variedade de aplicações, desde segurança e videovigilância até ao retalho, cuidados de saúde e veículos autónomos.
• Facilidade de utilização: Como o YOLOE é suportado pelo pacote Python da Ultralytics, é fácil integrá-lo nos teus projetos de visão computacional existentes.

No entanto, há algumas limitações a ter em conta ao utilizar o YOLOE. Eis alguns fatores a considerar:

• Requer dados de treino suficientes: Embora o YOLOE suporte a deteção zero-shot, o seu desempenho em objetos desconhecidos depende da qualidade da generalização a partir dos dados de treino. Em alguns casos, pode precisar de dados adicionais ou de fine-tuning para ter um bom desempenho em tarefas altamente especializadas.
• Sensível à qualidade da entrada: A precisão do modelo pode ser afetada por imagens ou vídeos de baixa qualidade. Uma entrada desfocada ou com iluminação deficiente pode reduzir a capacidade do modelo de detetar objetos com precisão, pelo que uma entrada de alta qualidade é importante para obter o melhor desempenho.

Principais conclusões#

O YOLOE traz mais flexibilidade à visão computacional ao permitir que os utilizadores orientem a deteção com prompts de texto ou imagem. Funciona bem em situações reais em que as cenas mudam rapidamente e não é possível treinar novamente o modelo.

Do manuseamento de bagagem à monitorização de espaços públicos, o YOLOE adapta-se facilmente a novas tarefas. À medida que a AI se torna mais acessível, modelos como o YOLOE ajudam mais setores a utilizar tecnologias de visão de formas práticas e eficientes.

Junta-te à nossa comunidade e explora o nosso repositório no GitHub para saberes mais sobre inovações em AI. Descobre os avanços mais recentes em áreas como AI no retalho e visão computacional nos cuidados de saúde nas nossas páginas de soluções. Consulta as nossas opções de licenciamento e começa hoje a utilizar a visão computacional!