O que é YOLOE? Levando os modelos de visão computacional mais longe

A deteção de objetos é uma tarefa essencial de visão computacional, cujo objetivo é identificar e localizar objetos em imagens ou vídeos. É uma parte crucial da visão computacional, um campo da inteligência artificial (AI) que permite às máquinas compreender e interpretar dados visuais. Por exemplo, a deteção de objetos pode ajudar a identificar um carro numa imagem ou a localizar uma pessoa num vídeo.

Uma das séries de modelos mais conhecidas para tarefas de visão computacional, como a deteção de objetos, é a série YOLO (You Only Look Once — Você só olha uma vez). Concebidos para oferecer velocidade e precisão, os modelos YOLO têm melhorado continuamente ao longo do tempo. Por exemplo, o Ultralytics YOLO11 (sucedido desde então pelo Ultralytics YOLO26) tem um bom desempenho em situações do mundo real e fornece resultados precisos até em ambientes mais complexos.

A impulsionar ainda mais este progresso, um novo modelo chamado YOLOE pretende expandir as capacidades dos modelos YOLO. Ao contrário dos modelos tradicionais, que exigem um novo treino para reconhecer objetos, o YOLOE pode seguir instruções simples em texto ou imagem para detetar objetos que nunca viu, tornando-se muito mais adaptável a ambientes em constante mudança.

Neste artigo, vamos analisar mais de perto o que torna o YOLOE único, como ele se compara aos modelos YOLO anteriores e como podes começar a usá-lo hoje.

Visão geral do YOLOE#

O YOLOE é um modelo de visão computacional que leva a deteção de objetos um passo mais além. Foi apresentado em março de 2025 por investigadores da Universidade Tsinghua. O que distingue o YOLOE dos modelos tradicionais é a utilização de deteção de vocabulário aberto.

Enquanto a maioria dos modelos é treinada para reconhecer uma lista fixa de objetos, o YOLOE permite especificar o que procurar através de uma breve descrição ou de uma imagem de exemplo. Por exemplo, se estiveres à procura de uma «mochila verde», podes escrever essa descrição ou mostrar uma fotografia ao modelo, e o YOLOE localiza-a na cena.

Além disso, mesmo sem qualquer instrução, o YOLOE consegue detetar muitos objetos do quotidiano por conta própria. Esta capacidade de reconhecer objetos que nunca viu chama-se deteção zero-shot. É especialmente útil em ambientes dinâmicos, onde a tarefa ou os objetos de interesse podem mudar inesperadamente.

Fig. 1. Uma visão geral das capacidades do YOLOE.

Principais funcionalidades do YOLOE#

O YOLOE suporta uma vasta gama de funcionalidades concebidas para melhorar o seu desempenho em aplicações reais. Graças à sua capacidade de processar entradas estruturadas e não estruturadas, o YOLOE abre novas possibilidades para a deteção e segmentação de objetos.

Eis algumas das principais funcionalidades que o modelo oferece:

• Deteção baseada em instruções: O YOLOE pode procurar objetos com base numa breve instrução de texto ou numa imagem de exemplo. Isto significa que não precisas de treinar novamente o modelo sempre que a tarefa mudar; basta descreveres ou mostrares ao modelo o que procuras.
• Segmentação de instâncias: Além de desenhar caixas delimitadoras em torno dos objetos, o YOLOE pode delinear a forma exata deles usando a segmentação de instâncias. Isso é especialmente útil quando os objetos se sobrepõem ou quando precisas de conhecer os limites precisos de um objeto.
• Reconhecimento de objetos sem instruções: O YOLOE consegue reconhecer objetos mesmo sem instruções específicas. Utiliza um conjunto de descrições aprendidas previamente para identificar objetos rapidamente, tornando o processo mais rápido e eficiente.

Comparação do YOLOE com outros modelos YOLO#

Agora que compreendemos melhor o que é o YOLOE, vamos conhecer alguns modelos semelhantes da família YOLO.

À medida que a visão computacional evoluiu, os modelos YOLO também evoluíram. Por exemplo, o Ultralytics YOLOv8 introduziu suporte para novas tarefas, como a segmentação e a classificação, enquanto versões posteriores, como o Ultralytics YOLO11, se concentraram em melhorar a precisão e o desempenho numa gama mais ampla de tarefas.

Além disso, o YOLO-World foi lançado em janeiro de 2024 e introduziu a capacidade de utilizar instruções escritas, permitindo aos utilizadores descrever os objetos que pretendem encontrar. Embora o YOLO-World fosse uma excelente opção para a deteção zero-shot, não incluía funcionalidades como a segmentação de instâncias e o suporte para instruções visuais.

O YOLOE baseia-se no YOLO-World, acrescentando estas capacidades, melhorando a flexibilidade e o desempenho e oferecendo uma ferramenta mais impactante para aplicações de visão computacional no mundo real. Para ver como os detetores de vocabulário aberto e os modelos de linguagem e visão se comparam em conjuntos de dados de deteção do mundo real, consulta a classificação de VLM da Ultralytics.

Fig. 2. O YOLO-World e o YOLOE suportam deteção zero-shot.

Utilizar o YOLOE com o pacote Python da Ultralytics#

Quer pretendas detetar objetos específicos, quer explorar tudo o que existe numa imagem, começar a utilizar o YOLOE é simples. Este modelo é suportado pelo pacote Python da Ultralytics, o que facilita a sua integração nos teus projetos. A seguir, vamos explicar como utilizá-lo.

Instalar o pacote Ultralytics#

O primeiro passo é instalar o pacote Python da Ultralytics com um gestor de pacotes, como o pip. Podes fazê-lo executando pip install ultralytics no terminal ou na linha de comandos.

Depois de instalares o pacote, terás tudo o que precisas para carregar o modelo, fazer previsões e experimentar diferentes modos de deteção. Se tiveres algum problema durante a instalação, a documentação oficial da Ultralytics inclui uma secção útil de resolução de problemas.

Há várias formas de utilizar o YOLOE para fazer previsões. Fazer previsões significa utilizar o modelo treinado para identificar e localizar objetos em imagens ou vídeos. Estes diferentes métodos permitem personalizar a forma como interages com o modelo de acordo com as tuas necessidades específicas.

Vamos analisar cada um destes métodos, um de cada vez.

Detetar objetos específicos com instruções de texto ou imagem#

O YOLOE pode detetar objetos com base numa breve descrição em texto. Por exemplo, se estiveres à procura de um cavalo em movimento, podes utilizar uma instrução como «cavalo a caminhar».

Para começar, carrega primeiro o modelo YOLOE pré-treinado e define a tua instrução (a descrição daquilo que pretendes que o modelo procure), como mostra o excerto de código abaixo.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

Depois de definires o modelo e a instrução, podes executá-lo numa imagem ou num vídeo. Substitui o caminho do ficheiro no código pelo caminho para o ficheiro de imagem ou vídeo:

results = model.predict("path/to/your/image.jpg")
results[0].show()

Isto irá mostrar a imagem com o objeto detetado claramente assinalado de acordo com a tua instrução. Podes alterar a instrução para procurar objetos diferentes, como «mala vermelha», «bicicleta» ou «zebra», conforme o que procuras.

Fig. 3. Exemplo de utilização do YOLOE para detetar objetos específicos através de uma instrução de texto.

Da mesma forma, podes utilizar uma imagem para dar instruções ao YOLOE com o pacote Python da Ultralytics. No modo de instrução visual, o modelo utiliza a imagem para encontrar itens semelhantes noutra cena. Isto é especialmente útil para objetos difíceis de descrever ou sem rótulos claros.

Para analisar o código em mais detalhe, consulta a documentação da Ultralytics.

Deteção geral de objetos com o YOLOE#

Em alguns casos, podes não saber exatamente o que procurar ou talvez não procures um objeto específico. É aí que o modo sem instruções é útil.

Com esta opção, não precisas de escrever uma descrição nem de fornecer uma imagem de exemplo. O YOLOE analisa simplesmente as imagens por conta própria e deteta tudo o que consegue reconhecer, como pessoas, animais, mobiliário ou objetos do quotidiano.

É uma forma útil de explorar uma cena sem dar instruções específicas ao modelo. Quer estejas a analisar uma sala cheia de gente, quer a rever gravações com muita atividade, o modo sem instruções permite-te ver rapidamente o que está presente numa imagem.

Podes utilizar o código seguinte para executar o YOLOE no modo sem instruções. Primeiro, o modelo é carregado; em seguida, processa a imagem e deteta automaticamente os objetos presentes. Por fim, os resultados são apresentados e os objetos detetados são realçados.

Não te esqueças de substituir o caminho do ficheiro pelo caminho real da tua imagem.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

A imagem abaixo é um exemplo do que o YOLOE consegue detetar no modo sem instruções.

Fig. 4. Utilização do YOLOE no modo sem instruções.

Aplicações do YOLOE em tempo real#

A capacidade do YOLOE de responder a instruções de texto e imagem torna-o uma ferramenta fiável para aplicações em tempo real. A sua flexibilidade é especialmente útil em ambientes de ritmo acelerado, onde a rapidez e a precisão são essenciais.

Vamos explorar alguns exemplos reais de utilização do YOLOE.

Otimizar o tratamento de bagagem: deteção de bagagem em tempo real#

Em aeroportos movimentados, localizar bagagens específicas pode ser um desafio, sobretudo quando há malas desaparecidas. O YOLOE pode agilizar este processo ao ajudar a analisar vídeos em direto e identificar rapidamente itens com base em instruções simples, como «mala vermelha».

Se uma mala estiver desaparecida ou no sítio errado, os funcionários podem alterar facilmente a instrução para procurar outro item, como uma «mala preta». Esta capacidade de adaptação instantânea pode ajudar os funcionários do aeroporto a localizar rapidamente a bagagem certa, sem rever horas de gravações nem treinar novamente o modelo, tornando o tratamento da bagagem e a resolução de casos de bagagem desaparecida muito mais rápidos e eficientes.

Monitorizar espaços públicos com o YOLOE#

As gravações de vigilância de espaços públicos, como mercados e cafés movimentados, incluem frequentemente uma mistura de pessoas, objetos e atividades que mudam ao longo do dia. O YOLOE pode analisar estas gravações em tempo real no modo sem instruções, detetando automaticamente itens como malas, mesas ou bicicletas sem precisar de instruções específicas.

Fig. 5. O YOLOE consegue detetar vários objetos num espaço público movimentado.

Isto é especialmente útil para as equipas de segurança, que podem detetar itens sem vigilância ou acompanhar a movimentação das multidões. A capacidade do YOLOE de detetar vários objetos de uma só vez facilita a gestão dos espaços públicos durante eventos ou períodos movimentados, ajudando as equipas a manterem-se informadas e a responderem rapidamente.

Vantagens e desvantagens do YOLOE#

Eis algumas das principais vantagens de utilizar o YOLOE em aplicações de visão computacional:

• Desempenho em tempo real: O YOLOE está otimizado para um processamento rápido e eficiente, permitindo a deteção em tempo real, mesmo em ambientes dinâmicos, como transmissões de vídeo em direto ou espaços públicos movimentados.
• Escalabilidade: O YOLOE é escalável e funciona bem numa grande variedade de aplicações, desde segurança e vigilância até ao retalho, cuidados de saúde e veículos autónomos.
• Fácil de utilizar: Como o YOLOE é suportado pelo pacote Python da Ultralytics, é fácil integrá-lo nos teus projetos de visão computacional existentes.

No entanto, há algumas limitações a ter em conta ao utilizar o YOLOE. Eis alguns aspetos a considerar:

• Exige dados de treino suficientes: Embora o YOLOE suporte a deteção zero-shot, o seu desempenho com objetos que nunca viu depende da capacidade de generalização a partir dos dados de treino. Em alguns casos, poderá precisar de dados adicionais ou de um ajuste fino para ter um bom desempenho em tarefas muito especializadas.
• Sensível à qualidade da entrada: A precisão do modelo pode ser afetada por imagens ou vídeos de baixa qualidade. Uma entrada desfocada ou mal iluminada pode reduzir a capacidade do modelo de detetar objetos com precisão, pelo que uma entrada de alta qualidade é importante para obter o melhor desempenho.

Principais conclusões#

O YOLOE torna a visão computacional mais flexível ao permitir que os utilizadores orientem a deteção através de instruções de texto ou imagem. Funciona bem em situações reais, onde as cenas mudam rapidamente e não é possível treinar novamente o modelo.

Desde o tratamento de bagagem até à monitorização de espaços públicos, o YOLOE adapta-se facilmente a novas tarefas. À medida que a IA se torna mais acessível, modelos como o YOLOE ajudam mais setores a utilizar a tecnologia de visão de forma prática e eficiente.

Junta-te à nossa comunidade e explora o nosso repositório no GitHub para saberes mais sobre as inovações em IA. Descobre os avanços mais recentes em áreas como a IA no comércio e a visão computacional na saúde nas nossas páginas de soluções. Consulta as nossas opções de licenciamento e começa hoje a trabalhar com visão computacional!