Multimodal AI

A IA multimodal refere-se a uma classe sofisticada de sistemas de inteligência artificial (AI) concebidos para processar, interpretar e sintetizar simultaneamente informações provenientes de vários tipos diferentes de dados, ou "modalidades". Ao contrário dos sistemas unimodais tradicionais, especializados numa única fonte de entrada — como o processamento de linguagem natural (NLP) para texto ou a visão computacional (CV) para imagens —, a IA multimodal imita a perceção humana ao integrar diversos fluxos de dados. Esta integração pode incluir a combinação de dados visuais (imagens, vídeo) com dados linguísticos (texto, áudio falado) e informações sensoriais (LiDAR, radar, térmicas). Ao tirar partido destas entradas combinadas, estes modelos alcançam uma compreensão mais profunda e consciente do contexto de cenários complexos do mundo real, aproximando-se das amplas capacidades da inteligência artificial geral (AGI).

Como funcionam os sistemas multimodais#

A principal vantagem da IA multimodal reside na sua capacidade de mapear diferentes tipos de dados para um espaço matemático partilhado, onde podem ser comparados e combinados. Este processo envolve normalmente três fases principais: codificação, alinhamento e fusão.

1. Extração de características: Redes neuronais especializadas processam cada modalidade de forma independente para identificar padrões fundamentais. Por exemplo, uma rede neuronal convolucional (CNN) pode extrair características visuais de uma fotografia, enquanto um Transformer processa a legenda correspondente.

2. Alinhamento e embeddings: As características extraídas são convertidas em vetores numéricos de alta dimensionalidade. O modelo aprende a alinhar estes vetores para que conceitos semanticamente semelhantes (por exemplo, uma imagem de um gato e a palavra "gato") fiquem próximos uns dos outros no espaço vetorial. Isto é frequentemente alcançado através de técnicas como a aprendizagem contrastiva, um método utilizado de forma célebre em modelos como o CLIP da OpenAI.

3. Fusão de dados: O sistema combina os dados alinhados utilizando técnicas de fusão avançadas. As arquiteturas modernas utilizam mecanismos de atenção para ponderar dinamicamente a importância de uma modalidade em relação a outra, dependendo do contexto, permitindo que o modelo se concentre no texto quando a imagem é ambígua, ou vice-versa.

Aplicações no mundo real#

A IA multimodal desbloqueou capacidades que antes eram impossíveis com sistemas de modalidade única, impulsionando a inovação em vários setores.

• Resposta a perguntas visuais (VQA): Nesta aplicação, um utilizador pode apresentar uma imagem a uma IA e fazer perguntas em linguagem natural sobre ela. Por exemplo, uma pessoa com deficiência visual pode carregar uma fotografia de uma despensa e perguntar: "Ainda tenho massa?" O modelo processa o conteúdo visual e a consulta textual para fornecer uma resposta específica.
• Veículos autónomos: Os carros autónomos dependem fortemente de entradas multimodais, combinando dados de câmaras, nuvens de pontos LiDAR e radar para navegarem em segurança. Esta redundância garante que, se um sensor falhar (por exemplo, uma câmara ficar encandeada pelo brilho do sol), os outros possam manter os padrões de segurança definidos pela Sociedade de Engenheiros Automóveis (SAE).
• Diagnóstico na área da saúde: Os sistemas avançados de IA médica analisam a análise de imagens médicas (como RM ou radiografias) juntamente com o historial clínico textual não estruturado e dados genéticos dos pacientes. Esta visão abrangente ajuda os médicos a fazer diagnósticos mais precisos, um tema frequentemente discutido na Nature Digital Medicine.
• AI generativa: As ferramentas que criam imagens a partir de instruções de texto, como o Stable Diffusion, dependem inteiramente da capacidade do modelo para compreender a relação entre descrições linguísticas e texturas visuais.

Deteção de vocabulário aberto com Ultralytics#

Enquanto os detetores de objetos padrão dependem de listas predefinidas de categorias, abordagens multimodais como o YOLO-World permitem aos utilizadores detetar objetos utilizando prompts textuais de vocabulário aberto. Isto estabelece uma ponte entre os comandos linguísticos e o reconhecimento visual no ecossistema Ultralytics.

O exemplo seguinte demonstra como utilizar a biblioteca ultralytics para realizar deteção de vocabulário aberto, na qual o modelo deteta objetos com base em entradas de texto personalizadas:

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multimodal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person wearing a red hat", "blue backpack"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

Distinguir Termos Relacionados#

Para navegar pelo panorama da aprendizagem automática moderna, é útil distinguir a "IA multimodal" de conceitos relacionados:

• Aprendizagem multimodal: Refere-se à disciplina académica e à metodologia de treinar algoritmos com tipos de dados mistos. A "IA multimodal" refere-se geralmente à aplicação prática ou ao próprio sistema resultante.
• Grandes modelos de linguagem (LLMs): Os LLMs tradicionais são unimodais e treinados exclusivamente com dados textuais. No entanto, o setor está a evoluir para "Grandes modelos multimodais" (LMMs), capazes de processar nativamente imagens e texto, uma tendência apoiada por frameworks como o PyTorch e o TensorFlow.
• Modelos de visão especializados: Modelos como o Ultralytics YOLO26, de última geração, são especialistas altamente focados em tarefas visuais. Enquanto um modelo multimodal geral pode descrever uma cena de forma abrangente, os modelos especializados destacam-se na deteção de objetos precisa e de alta velocidade, bem como no processamento em tempo real em hardware de edge.

Perspetivas futuras#

A trajetória da IA multimodal aponta para sistemas com maiores capacidades de raciocínio. Ao fundamentarem com sucesso a linguagem na realidade visual e física, estes modelos estão a ultrapassar a correlação estatística em direção a uma compreensão genuína. A investigação de instituições como a Google DeepMind e o Centro de Investigação sobre Modelos Fundamentais de Stanford continua a alargar os limites da forma como as máquinas percebem ambientes complexos.

Na Ultralytics, estamos a integrar estes avanços na Ultralytics Platform, permitindo aos utilizadores gerir dados, treinar modelos e implementar soluções que tiram partido de todo o espectro de modalidades disponíveis, combinando a velocidade do YOLO26 com a versatilidade das entradas multimodais.