A IA generativa está mudando o rumo da visão computacional

A AI generativa é um ramo da inteligência artificial (AI) que cria conteúdo novo, como imagens, texto ou áudio, aprendendo padrões a partir de dados existentes. Graças aos avanços recentes, pode agora ser utilizada para produzir conteúdo altamente realista, que muitas vezes imita a criatividade humana.

No entanto, o impacto da IA generativa vai além da simples criação de conteúdo. À medida que os modelos de visão computacional em tempo real, como os modelos Ultralytics YOLO, continuam a evoluir, a IA generativa também está a redefinir a forma como os dados visuais são processados e aumentados, abrindo caminho a aplicações inovadoras em cenários do mundo real.

Esta nova mudança tecnológica foi um tema de conversa interessante no YOLO Vision 2024 (YV24), um evento híbrido anual organizado pela Ultralytics. O YV24 reuniu entusiastas de AI e líderes do setor para debater os avanços mais recentes em visão computacional. O evento centrou-se na inovação, na eficiência e no futuro das soluções de AI em tempo real.

Um dos principais destaques do evento foi um painel de discussão sobre YOLO na era da IA generativa. O painel contou com Glenn Jocher, fundador e CEO da Ultralytics, Jing Qiu, engenheiro sénior de aprendizagem automática na Ultralytics, e Ao Wang, da Universidade Tsinghua. Debateram a influência da IA generativa na visão computacional e os desafios de desenvolver modelos de IA práticos.

Neste artigo, vamos revisitar as principais conclusões da conversa e analisar mais de perto como a IA generativa está a transformar a IA visual.

Desenvolvimento dos modelos Ultralytics YOLO#

Além de Glenn Jocher, muitos engenheiros talentosos desempenharam um papel fundamental no desenvolvimento dos modelos Ultralytics YOLO. Um deles, Jing Qiu, contou como começou inesperadamente a trabalhar com YOLO. Explicou que a sua paixão pela IA surgiu durante os anos de faculdade. Dedicou bastante tempo a explorar e aprender sobre a área. Jing Qiu recordou como entrou em contacto com Glenn Jocher no GitHub e se envolveu em vários projetos de IA.

Na sequência do que Jing Qiu disse, Glenn Jocher descreveu o GitHub como "uma forma incrível de partilhar — onde pessoas que nunca se conheceram se juntam para se ajudar, contribuindo para o trabalho umas das outras. É uma comunidade excelente e uma forma realmente fantástica de começar na IA."

Fig. 1. Glenn Jocher e Jing Qiu a falar no palco do YV24.

O interesse de Jing Qiu pela IA e o seu trabalho no Ultralytics YOLOv5 ajudaram a aperfeiçoar o modelo. Mais tarde, desempenhou um papel fundamental no desenvolvimento do Ultralytics YOLOv8, que introduziu novas melhorias. Descreveu-o como uma jornada incrível. Atualmente, Jing Qiu continua a melhorar e a trabalhar em modelos como o Ultralytics YOLO11.

YOLOv10: otimizado para o desempenho no mundo real#

Ao participar remotamente no painel a partir da China, Ao Wang apresentou-se como estudante de doutoramento. Inicialmente, estudou engenharia de software, mas a sua paixão pela IA levou-o a direcionar-se para a visão computacional e a aprendizagem profunda.

O primeiro contacto dele com o famoso modelo YOLO aconteceu quando experimentava várias técnicas e modelos de AI. Ficou impressionado com a velocidade e a precisão do modelo, o que o levou a aprofundar o estudo de tarefas de visão computacional, como a deteção de objetos. Recentemente, Ao Wang contribuiu para o YOLOv10, uma versão recente do modelo YOLO. A sua investigação centrou-se na otimização do modelo para o tornar mais rápido e preciso.

A principal diferença entre a IA generativa e a IA visual#

Em seguida, o painel começou a debater a IA generativa, e Jing Qiu salientou que a IA generativa e a IA visual têm objetivos muito diferentes. A IA generativa cria ou gera elementos como texto, imagens e vídeos, enquanto a IA visual analisa o que já existe, sobretudo imagens.

Glenn Jocher destacou que a dimensão também é uma grande diferença. Os modelos de IA generativa são enormes e contêm muitas vezes milhares de milhões de parâmetros — definições internas que ajudam o modelo a aprender a partir dos dados. Os modelos de visão computacional são muito mais pequenos. Disse: “O modelo YOLO mais pequeno que temos é cerca de mil vezes mais pequeno do que o LLM [modelo de linguagem de grande dimensão] mais pequeno. São 3 milhões de parâmetros, em comparação com três mil milhões.”

Fig. 2. O debate sobre IA generativa e IA visual no YV24.

Jing Qiu acrescentou que os processos de treino e implementação da IA generativa e da visão computacional também são muito diferentes. A IA generativa precisa de servidores enormes e potentes para funcionar. Já os modelos como YOLO foram concebidos para serem eficientes e podem ser treinados e implementados em hardware normal. Isso torna os modelos Ultralytics YOLO mais práticos para utilização no mundo real.

Embora sejam diferentes, estes dois campos estão a começar a interligar-se. Glenn Jocher explicou que a IA generativa está a trazer novos avanços à IA visual, tornando os modelos mais inteligentes e eficientes.

O impacto da IA generativa na visão computacional#

A IA generativa avançou rapidamente, e estes avanços estão a influenciar muitas outras áreas da inteligência artificial, incluindo a visão computacional. Vamos agora analisar algumas perspetivas fascinantes que o painel partilhou sobre o tema.

Os avanços no hardware estão a possibilitar inovações em IA#

No início do painel, Glenn Jocher explicou que as ideias de aprendizagem automática existem há muito tempo, mas os computadores não tinham potência suficiente para as concretizar. As ideias de AI precisavam de hardware mais potente para se tornarem realidade.

A ascensão das GPU (unidades de processamento gráfico) nos últimos 20 anos, com as suas capacidades de processamento paralelo, mudou tudo. As GPU tornaram o treino dos modelos de IA muito mais rápido e eficiente, permitindo que a aprendizagem profunda se desenvolvesse a um ritmo acelerado.

Atualmente, os chips de IA, como as TPU (unidades de processamento tensorial), e as GPU otimizadas consomem menos energia e conseguem processar modelos maiores e mais complexos. Isto tornou a IA mais acessível e útil em aplicações do mundo real.

A cada novo avanço no hardware, as aplicações de IA generativa e de visão computacional tornam-se mais poderosas. Estes avanços tornam a IA em tempo real mais rápida e eficiente, e permitem a sua utilização em mais setores.

Como a IA generativa está a moldar os modelos de deteção de objetos#

Questionado sobre a influência da IA generativa na visão computacional, Jing Qiu afirmou que os Transformers — modelos que ajudam a IA a concentrar-se nas partes mais importantes de uma imagem — mudaram a forma como a IA compreende e processa imagens. O primeiro grande passo foi o DETR (Transformador de deteção), que aplicou esta nova abordagem à deteção de objetos. Melhorou a precisão, mas teve problemas de desempenho que, em alguns casos, o tornaram mais lento.

Para resolver este problema, os investigadores criaram modelos híbridos como o RT-DETR. Estes modelos combinam redes neurais convolucionais (CNNs, modelos de aprendizagem profunda que aprendem e extraem automaticamente funcionalidades das imagens) e Transformers, equilibrando velocidade e precisão. Esta abordagem tira partido das vantagens dos Transformers e, ao mesmo tempo, acelera a deteção de objetos.

Curiosamente, o YOLOv10 utiliza camadas de atenção baseadas em Transformers — partes do modelo que funcionam como um foco, realçando as áreas mais importantes de uma imagem e ignorando detalhes menos relevantes — para melhorar o seu desempenho.

Ao Wang também referiu como a IA generativa está a mudar a forma como os modelos são treinados. Técnicas como a modelação de imagens mascaradas ajudam a IA a aprender com imagens de forma mais eficiente, reduzindo a necessidade de conjuntos de dados grandes e rotulados manualmente. Isto torna o treino de visão computacional mais rápido e menos exigente em termos de recursos.

O futuro da IA generativa e da IA visual#

Outra ideia importante debatida pelo painel foi a possibilidade de a IA generativa e a IA visual se unirem para criar modelos mais capazes. Glenn Jocher explicou que, embora estas duas abordagens tenham pontos fortes diferentes, combiná-las pode abrir novas possibilidades.

Por exemplo, os modelos de AI de visão, como o YOLO, dividem muitas vezes uma imagem numa grelha para identificar objetos. Este método baseado em grelhas pode ajudar os modelos de linguagem a melhorar a sua capacidade de localizar detalhes e descrevê-los — um desafio que muitos modelos de linguagem enfrentam atualmente. Essencialmente, a combinação destas técnicas pode levar a sistemas capazes de detetar com precisão e explicar claramente aquilo que veem. Alguns modelos de visão e linguagem já conseguem fazer as duas coisas, e o quadro de classificação de VLMs acompanha a eficácia com que detetam objetos.

Fig. 3. O futuro da IA generativa e da IA visual. Imagem do autor.

Principais conclusões#

A AI generativa e a visão computacional estão a avançar em conjunto. Embora a AI generativa crie imagens e vídeos, também melhora a análise de imagens e vídeos, trazendo novas ideias que podem tornar os modelos de AI de visão mais precisos e eficientes.

Nesta conversa de painel do YV24, Glenn Jocher, Jing Qiu e Ao Wang partilharam as suas perspetivas sobre a forma como estas tecnologias estão a moldar o futuro. Com hardware de AI melhor, a AI generativa e a AI de visão continuarão a evoluir, dando origem a ainda mais inovações. Estes dois campos estão a trabalhar em conjunto para criar uma AI mais inteligente, rápida e útil no dia a dia.

Junta-te à nossa comunidade e explora o nosso repositório do GitHub para saberes mais sobre IA visual. Consulta as nossas opções de licenciamento para dar início aos teus projetos de visão computacional. Tens interesse em inovações como IA na indústria transformadora ou visão computacional em veículos autónomos? Visita as nossas páginas de soluções para descobrires mais.