Modelos multimodais e aprendizado multimodal: ampliando os recursos da IA

Os sistemas tradicionais de AI geralmente processam informações de uma única fonte de dados, como texto, imagens ou áudio. Embora essas abordagens unimodais sejam excelentes em tarefas especializadas, muitas vezes não conseguem lidar com cenários complexos do mundo real que envolvem várias entradas simultâneas. O aprendizado multimodal resolve esse problema ao integrar diversos fluxos de dados em uma estrutura unificada, permitindo uma compreensão mais rica e contextualizada.

Inspirados pela percepção humana, os modelos multimodais analisam, interpretam e agem com base em entradas combinadas, assim como os seres humanos integram naturalmente visão, som e linguagem. Esses modelos permitem que a AI lide com cenários complexos com maior precisão, robustez e adaptabilidade.

Neste artigo, vamos explorar a evolução dos modelos multimodais, explicar como funcionam, discutir suas aplicações práticas em visão computacional e avaliar as vantagens e os desafios associados à integração de vários tipos de dados.

O que é aprendizado multimodal?#

Você talvez esteja se perguntando o que é exatamente o aprendizado multimodal e por que ele é importante para a inteligência artificial (AI). Os modelos tradicionais de AI geralmente lidam com um tipo de dado por vez, seja imagem, texto, áudio ou dados de sensores.

O aprendizado multimodal, porém, vai além, permitindo que os sistemas analisem, interpretem e integrem simultaneamente vários fluxos de dados diversos. Essa abordagem reproduz de perto a maneira como o cérebro humano integra naturalmente informações visuais, auditivas e linguísticas para formar uma compreensão coerente do mundo.

Ao combinar essas diferentes modalidades, a AI multimodal alcança uma compreensão mais profunda e matizada de cenários complexos.

Por exemplo, ao analisar imagens de vídeo, um sistema multimodal não processa apenas o conteúdo visual; ele também considera os diálogos falados, os sons do ambiente e as legendas correspondentes.

Essa perspectiva integrada permite que a AI capte o contexto e as sutilezas que passariam despercebidos se cada tipo de dado fosse analisado de forma independente.

Fig. 1. Os modelos de aprendizado multimodal integram diversos tipos de dados.

Na prática, o aprendizado multimodal amplia o que a AI pode fazer. Ele viabiliza aplicações como a criação de legendas para imagens, a resposta a perguntas com base no contexto visual, a geração de imagens realistas a partir de descrições textuais e o aprimoramento de sistemas interativos, tornando-os mais intuitivos e atentos ao contexto.

Mas como os modelos multimodais combinam esses diferentes tipos de dados para alcançar esses resultados? Vamos explicar passo a passo os mecanismos fundamentais por trás do sucesso deles.

Como funcionam os modelos de AI multimodais?#

Os modelos de IA multimodal dependem de três processos especializados: extração de características separada para cada modalidade (processamento independente de cada tipo de dado — como imagens, texto ou áudio), métodos de fusão (combinação dos detalhes extraídos) e técnicas avançadas de alinhamento (garantia de que as informações combinadas se integrem de forma coerente).

Fig. 2. Fluxo de integração e fusão de dados multimodais para tarefas preditivas.

Vamos analisar com mais detalhes como funciona cada um desses processos.

Extração de características separada por modalidade#

Os modelos de AI multimodais usam arquiteturas diferentes e especializadas para cada tipo de dado. Isso significa que entradas visuais, textuais, de áudio ou de sensores são processadas por sistemas projetados especificamente para elas. Assim, o modelo consegue capturar os detalhes únicos de cada entrada antes de combiná-las.

Veja alguns exemplos de como diferentes arquiteturas especializadas são usadas para extrair características de vários tipos de dados:

• Dados visuais: redes neurais convolucionais (CNNs) ou Vision Transformers interpretam informações visuais de imagens e vídeos e geram representações detalhadas de características.
• Dados textuais: modelos baseados em Transformer, como os da família GPT, convertem entradas textuais em embeddings semânticos significativos.
• Dados de áudio e sensores: redes neurais especializadas processam formas de onda de áudio ou entradas de sensores espaciais, garantindo que cada modalidade seja representada com precisão e que suas características distintas sejam preservadas.

Depois de processada individualmente, cada modalidade gera características de alto nível otimizadas para capturar as informações únicas contidas naquele tipo específico de dado.

Técnicas de fusão de características#

Após a extração das características, os modelos multimodais as combinam em uma representação unificada e coerente. Para isso, são usadas várias estratégias de fusão:

• Fusão inicial: combina os vetores de características extraídos logo após o processamento de cada modalidade. Essa estratégia favorece interações mais profundas entre modalidades desde o início do fluxo de análise.
• Fusão tardia: mantém as modalidades separadas até as etapas finais de tomada de decisão, quando as previsões de cada modalidade são combinadas, normalmente por métodos de conjunto, como média ou votação.
• Fusão híbrida: as arquiteturas modernas costumam integrar características várias vezes em diferentes camadas do modelo, usando mecanismos de coatenção para destacar e alinhar dinamicamente interações importantes entre modalidades. Por exemplo, a fusão híbrida pode priorizar o alinhamento de palavras faladas ou frases textuais específicas com as características visuais correspondentes em tempo real.

Mecanismos de alinhamento e atenção entre modalidades#

Por fim, os sistemas multimodais utilizam técnicas avançadas de alinhamento e atenção para garantir que os dados de diferentes modalidades correspondam de forma eficaz.

Métodos como o aprendizado contrastivo ajudam a alinhar estreitamente as representações visuais e textuais em um espaço semântico compartilhado. Assim, os modelos multimodais podem estabelecer conexões fortes e significativas entre diversos tipos de dados, garantindo a consistência entre o que o modelo "vê" e "lê".

Os mecanismos de atenção baseados em Transformer aprimoram ainda mais esse alinhamento, permitindo que os modelos se concentrem dinamicamente nos aspectos mais relevantes de cada entrada. Por exemplo, as camadas de atenção permitem que o modelo conecte diretamente descrições textuais específicas às regiões correspondentes nos dados visuais, melhorando muito a precisão em tarefas complexas como a resposta a perguntas visuais (VQA) e a criação de legendas para imagens.

Essas técnicas aprimoram a capacidade da AI multimodal de compreender profundamente o contexto, permitindo que a AI ofereça interpretações mais matizadas e precisas de dados complexos do mundo real.

A evolução da AI multimodal#

A AI multimodal evoluiu significativamente, passando das primeiras técnicas baseadas em regras para sistemas avançados de aprendizado profundo, capazes de realizar integrações sofisticadas.

No início, os sistemas multimodais combinavam diferentes tipos de dados, como imagens, áudio ou entradas de sensores, usando regras criadas manualmente por especialistas humanos ou métodos estatísticos simples. Por exemplo, os primeiros sistemas de navegação robótica combinavam imagens de câmeras com dados de sonar para detectar e evitar obstáculos. Embora fossem eficazes, esses sistemas exigiam extensa engenharia manual de características e tinham capacidade limitada de adaptação e generalização.

Com o advento do deep learning, os modelos multimodais tornaram-se muito mais populares. Redes neurais, como os autoencoders multimodais, começaram a aprender representações conjuntas de diferentes tipos de dados, especialmente imagens e texto, permitindo que a IA realizasse tarefas como recuperação entre modalidades e localização de imagens com base apenas em descrições textuais.

Os avanços continuaram com os sistemas de resposta a perguntas visuais (VQA), que integraram CNNs para processar imagens e RNNs ou transformers para interpretar textos. Isso permitiu que os modelos de IA respondessem com precisão a perguntas complexas e dependentes do contexto sobre conteúdo visual.

Mais recentemente, modelos multimodais de grande escala, treinados com enormes conjuntos de dados em escala da internet, ampliaram ainda mais os recursos da IA.

Esses modelos usam técnicas como aprendizado contrastivo, que lhes permitem identificar relações generalizáveis entre conteúdo visual e descrições textuais. Ao conectar as modalidades, as arquiteturas multimodais modernas aprimoraram a capacidade da IA de realizar tarefas complexas de raciocínio visual com precisão quase humana, demonstrando o quanto a IA multimodal avançou desde seus estágios iniciais. Alguns desses modelos também conseguem detectar objetos mencionados em um prompt de texto, e o Ultralytics VLM Leaderboard compara a precisão com que fazem isso em conjuntos de dados do mundo real.

Explorando a aprendizagem multimodal em visão computacional#

Agora que exploramos como os modelos multimodais integram fluxos de dados diversos, vamos ver como esses recursos podem ser aplicados aos modelos de visão computacional.

Fig. 3 Fluxo de trabalho da aprendizagem multimodal aplicada à visão computacional.

Ao combinar entradas visuais com texto, áudio ou dados de sensores, a aprendizagem multimodal permite que os sistemas de IA lidem com aplicações cada vez mais sofisticadas e ricas em contexto.

Geração de legendas para imagens#

A geração de legendas para imagens consiste em criar descrições em linguagem natural para dados visuais. Os métodos tradicionais de deteção de objetos identificam objetos individuais, mas a geração multimodal de legendas vai além, interpretando relações e contextos.

Por exemplo, um modelo multimodal pode analisar uma imagem de pessoas num piquenique e gerar uma legenda descritiva como “Uma família a fazer um piquenique num parque ensolarado”, produzindo um resultado mais rico e acessível.

Esta aplicação é importante para a acessibilidade. Pode ser usada para gerar texto alternativo para pessoas com deficiência visual e etiquetar conteúdo em grandes bases de dados. As arquiteturas Transformer desempenham aqui um papel fundamental, permitindo que o módulo de geração de texto se concentre em áreas visuais relevantes por meio de mecanismos de atenção, alinhando dinamicamente as descrições textuais com as características visuais.

Resposta a perguntas visuais (VQA)#

Os modelos VQA respondem a perguntas em linguagem natural com base em conteúdo visual, combinando visão computacional com compreensão da linguagem. Essas tarefas exigem uma compreensão detalhada do conteúdo da imagem, do contexto e do raciocínio semântico.

As arquiteturas Transformer aprimoraram a VQA ao permitir que os componentes textuais e visuais do modelo interajam dinamicamente e identifiquem as regiões exatas da imagem relacionadas à pergunta.

O modelo PaLI do Google, por exemplo, usa arquiteturas avançadas baseadas em transformers que integram Vision Transformers (ViT) a codificadores e decodificadores de linguagem, permitindo responder com precisão a perguntas complexas como “O que a mulher está fazendo na imagem?” ou “Quantos animais estão visíveis?”.

As camadas de atenção, que ajudam os modelos a concentrar-se nas partes mais relevantes de uma entrada, garantem que cada palavra da pergunta se ligue dinamicamente a pistas visuais, permitindo respostas detalhadas que vão além da deteção básica de objetos.

Geração de imagens a partir de texto#

A geração de imagens a partir de texto refere-se à capacidade da IA de criar conteúdo visual diretamente a partir de descrições textuais, preenchendo a lacuna entre a compreensão semântica e a criação visual.

Os modelos multimodais que realizam esta tarefa utilizam arquiteturas neurais avançadas, como transformers ou processos de difusão, para gerar imagens detalhadas e contextualmente precisas.

Por exemplo, imagine gerar dados de treinamento sintéticos para modelos de visão computacional encarregados da detecção de veículos. Com descrições textuais como "um sedã vermelho estacionado em uma rua movimentada" ou "um SUV branco dirigindo em uma rodovia", esses modelos multimodais podem produzir imagens diversas e de alta qualidade que retratam exatamente esses cenários.

Esta capacidade permite que investigadores e programadores expandam conjuntos de dados de deteção de objetos de forma eficiente, sem capturar manualmente milhares de imagens, reduzindo significativamente o tempo e os recursos necessários para a recolha de dados.

Fig. 4 Exemplos de resultados de um modelo de deteção de objetos treinado com conjuntos de dados sintéticos.

Métodos mais recentes aplicam técnicas baseadas em difusão, começando com ruído visual aleatório e refinando progressivamente a imagem para que corresponda de perto à entrada textual. Este processo iterativo pode criar exemplos realistas e variados, garantindo dados de treino robustos que abrangem múltiplos pontos de vista, condições de iluminação, tipos de veículos e fundos.

Esta abordagem é particularmente valiosa em visão computacional, pois permite expandir rapidamente os conjuntos de dados, melhorar a precisão dos modelos e aumentar a diversidade dos cenários que os sistemas de IA conseguem reconhecer com fiabilidade.

Recuperação de imagens por texto#

Os sistemas multimodais de recuperação facilitam as buscas ao converter textos e imagens para uma linguagem comum de significado. Por exemplo, modelos treinados com conjuntos de dados enormes, como o CLIP, que aprendeu com milhões de pares de imagem e texto, podem associar consultas textuais às imagens certas, gerando resultados de busca mais intuitivos e precisos.

Por exemplo, uma consulta de pesquisa como “pôr do sol numa praia” devolve resultados visualmente precisos, melhorando significativamente a eficiência da descoberta de conteúdo em plataformas de comércio eletrónico, arquivos de multimédia e bancos de imagens de stock.

A abordagem multimodal garante a precisão da recuperação mesmo quando as consultas e as descrições das imagens usam idiomas diferentes, graças aos alinhamentos semânticos aprendidos entre os domínios visual e textual.

Vantagens e desvantagens dos modelos multimodais em IA#

A aprendizagem multimodal oferece várias vantagens importantes que ampliam os recursos da IA em visão computacional e noutras áreas:

• Compreensão contextual mais rica: Ao combinar vários fluxos de entrada, os modelos multimodais compreendem cenários complexos do mundo real de forma mais profunda e matizada.
• Maior precisão: A comparação cruzada de várias fontes de dados reduz os erros de reconhecimento e raciocínio, melhorando a fiabilidade geral.
• Maior robustez: Os sistemas multimodais continuam eficazes mesmo quando uma fonte de dados fica comprometida (por exemplo, devido a más condições de iluminação nas entradas visuais ou a ruído nos dados de áudio).

Apesar destes pontos fortes, os modelos multimodais também apresentam os seus próprios desafios:

• Complexidade computacional: O processamento simultâneo de várias modalidades exige recursos computacionais significativos, aumentando as necessidades de infraestrutura.
• Alinhamento e sincronização de dados: Alinhar diferentes modalidades com precisão — por exemplo, sincronizar sinais de áudio exatamente com quadros visuais — é um desafio técnico, mas essencial para o desempenho ideal.
• Implicações éticas: Os sistemas multimodais podem amplificar inadvertidamente os enviesamentos presentes nos conjuntos de dados de treino, o que evidencia a importância de uma curadoria cuidadosa dos dados e de uma avaliação ética contínua.

Principais conclusões#

A aprendizagem multimodal está a transformar a IA ao permitir uma compreensão mais rica e contextualizada de vários fluxos de dados. As aplicações em visão computacional, como a geração de legendas para imagens, a resposta a perguntas visuais, a geração de imagens a partir de texto e a recuperação de imagens aprimorada, demonstram o potencial da integração de diversas modalidades.

Embora ainda existam desafios computacionais e éticos, inovações contínuas em arquiteturas, como a fusão baseada em transformers e o alinhamento contrastivo, continuam enfrentando essas questões e tornando a IA multimodal mais capaz e eficiente.

À medida que esta área evolui, os modelos multimodais tornar-se-ão essenciais para tarefas complexas de IA no mundo real, melhorando tudo, desde diagnósticos de saúde até à robótica autónoma. A adoção da aprendizagem multimodal permite que as indústrias aproveitem capacidades poderosas que moldarão o futuro da IA.

Junta-te à nossa comunidade em crescimento! Explora o nosso repositório no GitHub para saberes mais sobre IA. Queres começar os teus próprios projetos de visão computacional? Consulta as nossas opções de licenciamento. Descobre a IA na indústria transformadora e a IA de visão em veículos autónomos nas nossas páginas de soluções!