Unindo processamento de linguagem natural e visão computacional

Natural language processing (NLP) e computer vision (CV) são dois ramos distintos da artificial intelligence (AI) que ganharam muita popularidade nos últimos anos. Graças aos avanços na IA, esses dois ramos estão agora mais interconectados do que nunca.

Um ótimo exemplo disso é a legendagem automática de image captioning. A Computer vision pode ser usada para analisar e entender o conteúdo de uma imagem, enquanto o processamento de linguagem natural pode ser usado para generate uma legenda para descrevê-la. A legendagem automática de imagens é comumente usada em plataformas de social media para melhorar a accessibility e em sistemas de gerenciamento de content para ajudar a organizar e tag images de forma eficiente.

Inovações em PLN e Vision AI levaram a muitos casos de uso semelhantes em vários setores. Neste artigo, vamos analisar mais de perto o PLN e a computer vision e discutir como ambos funcionam. Também exploraremos aplicações interessantes que usam essas duas tecnologias em conjunto. Vamos começar!

Entendendo NLP e a Vision AI#

O PLN concentra-se na interação entre computadores e a linguagem humana. Ele permite que as máquinas entendam, interpretem e generate text ou fala de uma forma que faça sentido. Ele pode ser usado para realizar tarefas como tradução, sentiment analysis ou summarization.

Enquanto isso, a visão computacional ajuda as máquinas a analisar e trabalhar com imagens e vídeos. Ela pode ser usada para tarefas como detecting objects em uma foto, facial recognition, object tracking ou image classification. A tecnologia Vision AI permite que as máquinas entendam melhor e interajam com o mundo visual.

Fig 1. Um exemplo de classificação de imagens.

Quando integrado à computer vision, o PLN pode dar significado a visual data combinando texto e imagens, permitindo uma compreensão mais profunda. Como diz o ditado, "uma imagem vale mais que mil palavras" e, quando combinada com texto, torna-se ainda mais poderosa, oferecendo insights mais ricos.

Exemplos de NLP e visão computacional trabalhando juntas#

Você provavelmente já viu o PLN e a visão computacional trabalhando juntos em everyday tools sem nem perceber, como quando seu telefone traduz texto de uma foto.

De fato, o Google Translate usa tanto o processamento de linguagem natural quanto a visão computacional para traduzir texto de imagens. Quando você tira uma foto de uma placa de rua em outro idioma, a visão computacional identifica e extrai o texto, enquanto o PLN o traduz para o seu idioma preferido.

A NLP e a CV trabalham juntas para tornar o processo suave e eficiente, permitindo que os usuários entendam e interajam com informações em diferentes idiomas em tempo real. Essa integração perfeita de tecnologias quebra barreiras de comunicação.

Fig 2. O recurso de tradução do Google.

Aqui estão algumas outras aplicações onde a NLP e a visão computacional trabalham juntas:

• Self-driving cars: A VC pode ser usada para detectar placas de trânsito, faixas e obstáculos, enquanto o PLN pode processar comandos falados ou o texto em placas de trânsito.
• Document readers: A Vision AI pode reconhecer texto de documentos digitalizados ou escrita à mão, e o processamento de linguagem natural pode interpretar e resumir as informações.
• Visual search in shopping apps: A visão computacional pode identificar produtos em fotos, enquanto o PLN processa termos de pesquisa para melhorar as recomendações.
• Educational tools: A VC pode reconhecer notas manuscritas ou entradas visuais, e o PLN pode fornecer explicações ou feedback com base no conteúdo.

Conceitos-chave que ligam a visão computacional e a NLP#

Agora que vimos como a visão computacional e o processamento de linguagem natural são usados, vamos explorar como eles se unem para permitir uma IA cross-modal.

A IA cross-modal combina a compreensão visual da visão computacional com a compreensão de linguagem do PLN para processar e conectar informações entre texto e imagens. Por exemplo, em healthcare, a IA cross-modal pode ajudar a analisar um X-ray e gerar um resumo escrito claro de possíveis problemas, ajudando os médicos a tomar decisões mais rápidas e precisas.

Compreensão de Linguagem Natural (NLU)#

Natural Language Understanding é um subconjunto especial do PLN que se concentra em interpretar e extrair significado do texto analisando sua intenção, contexto, semântica, tom e estrutura. Enquanto o PLN processa texto bruto, a NLU permite que as máquinas compreendam a linguagem humana com mais eficácia. Por exemplo, a análise sintática é uma técnica da NLU que converte texto escrito em um formato estruturado que as máquinas podem entender.

Fig 3. A relação entre PLN e NLU.

A NLU trabalha com a visão computacional quando os dados visuais contêm texto que precisa ser compreendido. A visão computacional, usando tecnologias como optical character recognition (OCR), extrai texto de imagens, documentos ou vídeos. Isso pode incluir tarefas como digitalizar um recibo, ler texto em uma placa ou digitalizar notas manuscritas.

A NLU processa então o texto extraído para entender seu significado, contexto e intenção. Essa combinação torna possível que os sistemas façam mais do que apenas reconhecer texto. Eles podem categorizar despesas de recibos ou analisar o tom e o sentimento. Juntas, a visão computacional e a NLU transformam texto visual em informações significativas e acionáveis.

Engenharia de prompt#

Prompt engineering é o processo de projetar prompts de entrada claros, precisos e detalhados para orientar sistemas de IA gerativa, como grandes modelos de linguagem (LLMs) e modelos de visão-linguagem (VLMs), na produção das saídas desejadas. Esses prompts atuam como instruções que ajudam o modelo de IA a entender a intenção do usuário.

A engenharia de prompt eficaz requer a compreensão das capacidades do modelo e a criação de entradas que maximizem sua capacidade de gerar respostas precisas, criativas ou perspicazes. Isso é especialmente importante quando se trata de AI models que funcionam com texto e imagens.

Pegue o modelo DALL·E da OpenAI's, por exemplo. Se você pedir a ele para criar "uma imagem fotorrealista de um astronauta cavalgando um cavalo", ele poderá gerar exatamente isso com base na sua descrição. Essa habilidade é superútil em áreas como graphic design, onde os profissionais podem transformar rapidamente ideias de texto em protótipos visuais, economizando tempo e aumentando a produtividade.

Fig 4. Uma imagem criada usando o DALL-E da OpenAI.

Você deve estar se perguntando como isso se conecta à visão computacional - isso não é apenas generative AI? Os dois são, na verdade, intimamente relacionados. A IA gerativa baseia-se nos fundamentos da visão computacional para criar saídas visuais totalmente novas.

Generative AI models que criam imagens a partir de prompts de texto são treinados em grandes conjuntos de dados de imagens emparelhadas com descrições textuais. Isso permite que eles aprendam as relações entre linguagem e conceitos visuais, como objetos, texturas e relações espaciais.

Esses modelos não interpretam dados visuais da mesma forma que os sistemas tradicionais de visão computacional, como recognizing objects em imagens do mundo real. Em vez disso, eles usam sua compreensão aprendida desses conceitos para gerar novos visuais com base em prompts. Ao combinar esse conhecimento com prompts bem elaborados, a IA gerativa pode produzir imagens realistas e detalhadas que correspondem à entrada do usuário.

Resposta a perguntas (QA)#

Os sistemas de Question-answering são projetados para entender perguntas em linguagem natural e fornecer respostas precisas e relevantes. Eles usam técnicas como recuperação de informações, compreensão semântica e aprendizado profundo para interpretar e responder a consultas.

Modelos avançados como OpenAI’s GPT-4o podem lidar com perguntas e respostas visuais (VQA), o que significa que podem analisar e responder a perguntas sobre imagens. No entanto, o GPT-4o não executa diretamente computer vision tasks. Em vez disso, ele usa um codificador de imagem especializado para processar imagens, extract features e combiná-las com sua compreensão de linguagem para fornecer respostas.

Fig 5. Capacidade de resposta a perguntas visual do ChatGPT. Imagem do autor.

Outros sistemas podem ir um passo além, integrando totalmente computer vision capabilities. Esses sistemas podem analisar diretamente imagens ou vídeos para identificar objetos, cenas ou texto. Quando combinados com o processamento de linguagem natural, eles podem lidar com perguntas mais complexas sobre o conteúdo visual. Por exemplo, eles podem responder: "Quais objetos estão nesta imagem?" ou "Quem está nesta filmagem?" detectando e interpretando os elementos visuais.

Aprendizado Zero-Shot (ZSL)#

O aprendizado zero-shot (ZSL) é um método de aprendizado de máquina que permite que os modelos de IA lidem com tarefas novas e não vistas sem serem especificamente treinados nelas. Ele faz isso usando informações extras, como descrições ou relações semânticas, para conectar o que o modelo já sabe (classes vistas) a novas categorias não vistas.

No processamento de linguagem natural, o ZSL ajuda os modelos a entender e trabalhar com tópicos nos quais não foram treinados, contando com relações entre palavras e conceitos. Da mesma forma, na visão computacional, o ZSL permite que os modelos recognize objects ou cenas que nunca encontraram antes, vinculando recursos visuais, como asas ou penas, a conceitos conhecidos, como birds.

O ZSL conecta a NLP e a CV combinando a compreensão de linguagem com o reconhecimento visual, tornando-o especialmente útil para tarefas que envolvem ambos. Por exemplo, na resposta a perguntas visual, um modelo pode analisar uma imagem enquanto entende uma pergunta relacionada para fornecer uma resposta precisa. Também é útil para tarefas como legendagem de imagens.

Principais pontos#

A união do processamento de linguagem natural e da visão computacional levou a sistemas de IA que podem entender tanto texto quanto imagens. Essa combinação está sendo usada em vários setores, desde ajudar carros autônomos a ler placas de trânsito até melhorar diagnósticos médicos e tornar as mídias sociais mais seguras. À medida que essas tecnologias melhoram, elas continuarão a facilitar a vida e a abrir novas oportunidades em uma ampla gama de campos. Para saber mais, visite nosso GitHub repository e envolva-se com nossa community. Explore aplicações de IA em self-driving cars e agriculture em nossas páginas de soluções. 🚀