Modelo multimodal

Um modelo multimodal é um sistema de inteligência artificial que pode processar e compreender informações de vários tipos de dados - ou "modalidades" - em simultâneo. Ao contrário dos modelos tradicionais que podem tratar apenas texto ou imagens, um modelo multimodal pode interpretar texto, imagens, áudio e outras fontes de dados em conjunto, conduzindo a uma compreensão mais abrangente e semelhante à humana. Esta capacidade de integrar diversos fluxos de dados é um passo significativo em direção a sistemas de IA mais avançados e conscientes do contexto, capazes de lidar com tarefas complexas que exigem a compreensão do mundo a partir de múltiplas perspectivas. Esta abordagem é fundamental para o futuro da IA na nossa vida quotidiana.

Como funcionam os modelos multimodais

A principal inovação dos modelos multimodais reside na sua arquitetura, que foi concebida para encontrar e aprender as relações entre diferentes tipos de dados. Uma tecnologia chave que permite isto é a arquitetura Transformer, originalmente detalhada no documento inovador "Attention Is All You Need". Esta arquitetura utiliza mecanismos de atenção para ponderar a importância de diferentes partes dos dados de entrada, quer sejam palavras numa frase ou pixels numa imagem. O modelo aprende a criar representações partilhadas, ou embeddings, que captam o significado de cada modalidade num espaço comum.

Estes modelos sofisticados são frequentemente construídos com recurso a poderosas estruturas de aprendizagem profunda (DL), como o PyTorch e o TensorFlow. O processo de formação envolve alimentar o modelo com vastos conjuntos de dados que contêm dados emparelhados, como imagens com legendas de texto, permitindo-lhe aprender as ligações entre modalidades.

Aplicações no mundo real

Os modelos multimodais já estão a alimentar uma vasta gama de aplicações inovadoras. Eis dois exemplos proeminentes:

1. Resposta a perguntas visuais (VQA): Um utilizador pode fornecer uma imagem a um modelo e fazer uma pergunta em linguagem natural, como por exemplo "Que tipo de flor está em cima da mesa?". O modelo processa tanto a informação visual como a pergunta em texto para dar uma resposta relevante. Esta tecnologia tem um potencial significativo em domínios como a educação e as ferramentas de acessibilidade para os deficientes visuais.
2. Geração de texto para imagem: Modelos como o DALL-E 3 e o Midjourney da OpenAI pegam numa mensagem de texto (por exemplo, "Uma paisagem urbana futurista ao pôr do sol, com carros voadores") e geram uma imagem única que corresponde à descrição. Esta forma de IA generativa está a revolucionar as indústrias criativas, desde o marketing ao design de jogos.

Conceitos-chave e distinções

A compreensão dos modelos multimodais implica a familiarização com conceitos relacionados:

• Aprendizagem multimodal: Este é o subcampo da Aprendizagem Automática (AM) centrado no desenvolvimento de algoritmos e técnicas utilizados para formar modelos multimodais. Aborda desafios como o alinhamento de dados e estratégias de fusão, frequentemente discutidos em artigos académicos. Em suma, a aprendizagem multimodal é o processo, enquanto o modelo multimodal é o resultado.
• Modelos de fundações: Muitos modelos de base modernos, como o GPT-4, são inerentemente multimodais, capazes de processar texto e imagens. Estes grandes modelos servem como uma base que pode ser afinada para tarefas específicas.
• Modelos de linguagem de grande dimensão (LLMs): Embora relacionados, os LLM centram-se tradicionalmente no processamento de texto. Os modelos multimodais são mais amplos, explicitamente concebidos para tratar e integrar informações de diferentes tipos de dados, para além da linguagem. No entanto, a fronteira está a esbater-se com o aparecimento dos modelos de linguagem visual (VLM).
• Modelos de visão especializados: Os modelos multimodais diferem dos modelos especializados de Visão por Computador (CV), como o Ultralytics YOLO. Enquanto um modelo multimodal como o GPT-4 pode descrever uma imagem ("Há um gato sentado num tapete"), um modelo YOLO destaca-se na deteção de objectos ou na segmentação de instâncias, localizando com precisão o gato com uma caixa delimitadora ou uma máscara de píxeis. Estes modelos podem ser complementares; o YOLO identifica onde estão os objectos, enquanto um modelo multimodal pode interpretar a cena ou responder a perguntas sobre a mesma. Veja as comparações entre diferentes modelos YOLO.

O desenvolvimento e a implementação destes modelos envolvem frequentemente plataformas como o Ultralytics HUB, que pode ajudar a gerir conjuntos de dados e fluxos de trabalho de formação de modelos. A capacidade de fazer a ponte entre diferentes tipos de dados faz dos modelos multimodais um passo em direção a uma IA mais abrangente, contribuindo potencialmente para a futura Inteligência Artificial Geral (AGI).