A IA generativa está a mudar o futuro da visão computacional

A IA generativa é um ramo da inteligência artificial (AI) que cria novos conteúdos, como imagens, texto ou áudio, aprendendo padrões a partir de dados existentes. Graças aos avanços recentes, pode agora ser usada para produzir conteúdos altamente realistas que frequentemente imitam a criatividade humana.

No entanto, o impacto da IA generativa vai além da simples criação de conteúdos. À medida que os modelos de visão computacional em tempo real, como os modelos Ultralytics YOLO, continuam a evoluir, a IA generativa também está a redefinir a forma como os dados visuais são processados e aumentados, abrindo caminho a aplicações inovadoras em cenários do mundo real.

Esta nova mudança tecnológica foi um tema interessante de conversa no YOLO Vision 2024 (YV24), um evento híbrido anual organizado pela Ultralytics. O YV24 reuniu entusiastas da IA e líderes do setor para discutir os avanços mais recentes na visão computacional. O evento centrou-se na inovação, na eficiência e no futuro das soluções de IA em tempo real.

Um dos principais destaques do evento foi um painel sobre o YOLO na era da IA generativa. O painel contou com Glenn Jocher, Fundador e CEO da Ultralytics, Jing Qiu, Engenheiro Sénior de Aprendizagem Automática na Ultralytics, e Ao Wang, da Universidade de Tsinghua. Exploraram a forma como a IA generativa está a influenciar a visão computacional e os desafios do desenvolvimento de modelos de IA práticos.

Neste artigo, vamos revisitar os principais pontos da discussão e analisar mais detalhadamente como a IA generativa está a transformar a IA de visão.

Desenvolvimento dos modelos Ultralytics YOLO#

Além de Glenn Jocher, muitos engenheiros talentosos desempenharam um papel fundamental no desenvolvimento dos modelos Ultralytics YOLO. Um deles, Jing Qiu, contou como começou inesperadamente a trabalhar com YOLO. Explicou que a sua paixão pela IA começou durante os anos de universidade. Passou bastante tempo a explorar e aprender sobre esta área. Jing Qiu recordou como contactou com Glenn Jocher no GitHub e se envolveu em vários projetos de IA.

Complementando o que Jing Qiu disse, Glenn Jocher descreveu o GitHub como "uma forma incrível de partilhar — onde pessoas que nunca se conheceram se reúnem para se ajudarem mutuamente, contribuindo para o trabalho umas das outras. É uma excelente comunidade e uma forma realmente fantástica de começar na IA."

Fig. 1. Glenn Jocher e Jing Qiu a falar no palco do YV24.

O interesse de Jing Qiu pela IA e o seu trabalho no Ultralytics YOLOv5 ajudaram a aperfeiçoar o modelo. Mais tarde, desempenhou um papel fundamental no desenvolvimento do Ultralytics YOLOv8, que introduziu melhorias adicionais. Descreveu esta experiência como uma jornada incrível. Atualmente, Jing Qiu continua a melhorar e a trabalhar em modelos como o Ultralytics YOLO11.

YOLOv10: otimizado para desempenho no mundo real#

A participar remotamente no painel a partir da China, Ao Wang apresentou-se como estudante de doutoramento. Inicialmente, estudou engenharia de software, mas a sua paixão pela IA levou-o a mudar o foco para a visão computacional e a aprendizagem profunda.

O seu primeiro contacto com o famoso modelo YOLO aconteceu enquanto experimentava várias técnicas e modelos de IA. Ficou impressionado com a sua velocidade e precisão, o que o levou a aprofundar o estudo de tarefas de visão computacional, como a deteção de objetos. Recentemente, Ao Wang contribuiu para o YOLOv10, uma versão recente do modelo YOLO. A sua investigação centrou-se na otimização do modelo para o tornar mais rápido e preciso.

A principal diferença entre a IA generativa e a IA de visão#

De seguida, o painel começou a discutir a IA generativa, e Jing Qiu salientou que a IA generativa e a IA de visão têm objetivos muito diferentes. A IA generativa cria ou gera elementos como texto, imagens e vídeos, enquanto a IA de visão analisa o que já existe, sobretudo imagens.

Glenn Jocher salientou que o tamanho também é uma diferença importante. Os modelos de IA generativa são enormes, contendo frequentemente milhares de milhões de parâmetros — definições internas que ajudam o modelo a aprender com os dados. Os modelos de visão computacional são muito mais pequenos. Disse: “O modelo YOLO mais pequeno que temos é cerca de mil vezes mais pequeno do que o LLM mais pequeno [Modelo de Linguagem de Grande Escala]. Portanto, são 3 milhões de parâmetros contra três mil milhões.”

Fig. 2. O debate do painel sobre IA generativa e IA de visão no YV24.

Jing Qiu acrescentou que os processos de treino e implementação da IA generativa e da visão computacional também são muito diferentes. A IA generativa precisa de servidores enormes e potentes para funcionar. Por outro lado, modelos como o YOLO são desenvolvidos para garantir eficiência e podem ser treinados e implementados em hardware comum. Isto torna os modelos Ultralytics YOLO mais práticos para utilização no mundo real.

Apesar de serem diferentes, estas duas áreas estão a começar a interligar-se. Glenn Jocher explicou que a IA generativa está a trazer novos avanços à IA de visão, tornando os modelos mais inteligentes e eficientes.

O impacto da IA generativa na visão computacional#

A IA generativa avançou rapidamente, e estas descobertas estão a influenciar muitas outras áreas da inteligência artificial, incluindo a visão computacional. De seguida, vamos analisar alguns pontos fascinantes do painel sobre este tema.

Os avanços no hardware estão a permitir inovações na IA#

No início do painel, Glenn Jocher explicou que as ideias de aprendizagem automática existem há muito tempo, mas os computadores não eram suficientemente potentes para as concretizar. As ideias de IA precisavam de hardware mais potente para se tornarem realidade.

A expansão das GPUs (unidades de processamento gráfico) nos últimos 20 anos, com capacidades de processamento paralelo, mudou tudo. Tornaram o treino de modelos de IA muito mais rápido e eficiente, permitindo que a aprendizagem profunda se desenvolvesse a um ritmo acelerado.

Atualmente, chips de IA como as TPUs (unidades de processamento tensorial) e GPUs otimizadas consomem menos energia enquanto processam modelos maiores e mais complexos. Isto tornou a IA mais acessível e útil em aplicações do mundo real.

A cada nova melhoria do hardware, as aplicações de IA generativa e de visão computacional tornam-se mais potentes. Estes avanços estão a tornar a IA em tempo real mais rápida, mais eficiente e pronta para utilização em mais setores.

Como a IA generativa está a moldar os modelos de deteção de objetos#

Quando questionado sobre a influência da IA generativa na visão computacional, Jing Qiu afirmou que os transformadores — modelos que ajudam a IA a concentrar-se nas partes mais importantes de uma imagem — mudaram a forma como a IA compreende e processa imagens. O primeiro grande passo foi o DETR (Transformador de Deteção), que utilizou esta nova abordagem para a deteção de objetos. Melhorou a precisão, mas apresentou problemas de desempenho que o tornavam mais lento em alguns casos.

Para resolver este problema, os investigadores criaram modelos híbridos como o RT-DETR. Estes modelos combinam Redes Neuronais Convolucionais (CNNs, que são modelos de aprendizagem profunda que aprendem e extraem automaticamente características das imagens) e transformadores, equilibrando velocidade e precisão. Esta abordagem aproveita os benefícios dos transformadores e, ao mesmo tempo, torna a deteção de objetos mais rápida.

Curiosamente, o YOLOv10 utiliza camadas de atenção baseadas em transformadores (partes do modelo que funcionam como um foco de luz para destacar as áreas mais importantes de uma imagem, ignorando os detalhes menos relevantes) para melhorar o seu desempenho.

Ao Wang também mencionou como a IA generativa está a mudar a forma como os modelos são treinados. Técnicas como a modelação de imagens mascaradas ajudam a IA a aprender com imagens de forma mais eficiente, reduzindo a necessidade de grandes conjuntos de dados anotados manualmente. Isto torna o treino de visão computacional mais rápido e menos exigente em recursos.

O futuro da IA generativa e da IA de visão#

Outra ideia fundamental discutida no painel foi a forma como a IA generativa e a IA de visão poderão juntar-se para criar modelos mais capazes. Glenn Jocher explicou que, embora estas duas abordagens tenham pontos fortes diferentes, a sua combinação poderá abrir novas possibilidades.

Por exemplo, os modelos de IA de visão, como o YOLO, dividem frequentemente uma imagem numa grelha para identificar objetos. Este método baseado em grelha pode ajudar os modelos de linguagem a melhorar a sua capacidade de localizar detalhes e descrevê-los — um desafio que muitos modelos de linguagem enfrentam atualmente. Em essência, a combinação destas técnicas poderá conduzir a sistemas capazes de detetar com precisão e explicar claramente aquilo que veem.

Fig. 3. O futuro da IA generativa e da IA de visão. Imagem do autor.

Principais conclusões#

A IA generativa e a visão computacional estão a avançar em conjunto. Embora a IA generativa crie imagens e vídeos, também melhora a análise de imagens e vídeos ao trazer novas ideias inovadoras que poderão tornar os modelos de IA de visão mais precisos e eficientes.

Neste esclarecedor painel do YV24, Glenn Jocher, Jing Qiu e Ao Wang partilharam as suas perspetivas sobre a forma como estas tecnologias estão a moldar o futuro. Com hardware de IA melhor, a IA generativa e a IA de visão continuarão a evoluir, conduzindo a inovações ainda maiores. Estas duas áreas estão a trabalhar em conjunto para criar uma IA mais inteligente, rápida e útil para o quotidiano.

Junta-te à nossa comunidade e explora o nosso repositório no GitHub para saberes mais sobre IA de visão. Consulta as nossas opções de licenciamento para começares os teus projetos de visão computacional. Interessado em inovações como IA na indústria ou visão computacional em veículos autónomos? Visita as nossas páginas de soluções para descobrires mais.