Natural Language Understanding (NLU)

A compreensão da linguagem natural (NLU) é a parte do processamento de linguagem natural (NLP) que determina o significado de um texto: o que o autor pretende, que elementos menciona e qual é a interpretação pretendida quando as palavras admitem várias. Um sistema de NLU transforma «Reserva uma mesa para duas pessoas amanhã às 7» num pedido estruturado, com uma intenção como reserve_table e campos para o tamanho do grupo, a hora e a data, que o software pode executar. Os assistentes virtuais, os chatbots de apoio ao cliente e os motores de pesquisa executam NLU em cada pedido antes de decidirem o que fazer ou dizer.

Porque é difícil compreender a linguagem#

As mesmas palavras podem ter significados diferentes em qualquer nível. «Banco» pode ser uma instituição financeira ou uma margem de rio; «Vi o homem com o telescópio» não diz quem segura o telescópio; e, em «O troféu não cabe na mala castanha porque é demasiado grande», «é» refere-se ao troféu, mas se «grande» mudar para «pequeno», passa a referir-se à mala. Em 2011, Hector Levesque propôs esquemas de Winograd deste tipo como teste à compreensão por máquinas, porque resolvê-los exige conhecimento do mundo, e não apenas estatísticas de palavras. Os primeiros sistemas baseados em regras, como o SHRDLU de Terry Winograd (1968–1970), compreendiam comandos escritos apenas num mundo simulado de blocos, totalmente descrito pelas suas regras.

Tarefas principais de NLU#

• Classificação de intenções: Atribui um pedido a um dos objetivos de uma aplicação, como consultar um saldo ou bloquear um cartão.
• Reconhecimento de entidades nomeadas (NER): Encontra as pessoas, os locais, os produtos, as datas e os valores monetários mencionados num pedido, que os assistentes usam para preencher os campos de uma intenção.
• Análise semântica: Mapeia uma frase para uma representação formal que um programa pode executar, como uma consulta a uma base de dados ou uma chamada a uma API.
• Resolução de correferências: Associa pronomes e outras referências às entidades a que dizem respeito.
• Inferência em linguagem natural: Determina se uma frase implica, contradiz ou é neutra em relação a outra.
• Análise de sentimento: Identifica a opinião expressa num texto.

Os assistentes costumam classificar intenções com um codificador transformador ajustado por fine-tuning. Um codificador de frases também pode classificar intenções com um único exemplo de cada uma, escolhendo a intenção cujo exemplo tem o significado mais próximo do pedido:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

# One labeled example per intent, as an assistant's training data would provide
intents = {
    "check_balance": "What is my account balance?",
    "block_card": "Please freeze my debit card",
    "transfer_money": "Send money to another account",
}
utterances = ["my card was stolen", "how much cash do I have left", "pay Alex back 20 dollars"]

# Assign each utterance the intent whose example is closest in meaning
scores = model.similarity(model.encode(utterances), model.encode(list(intents.values())))
for text, row in zip(utterances, scores):
    best = int(row.argmax())
    print(f"{text!r} -> {list(intents)[best]} ({row[best]:.2f})")

Os três pedidos recebem a intenção correta: block_card (0,42), check_balance (0,49) e transfer_money (0,28). «quanto dinheiro me resta» e «devolver 20 dólares ao Alex» não partilham nenhuma palavra com os exemplos das respetivas intenções; por isso, a correspondência resulta dos embeddings, não de palavras-chave. O pedido de transferência é o melhor resultado, com apenas 0,28, contra 0,17 para as outras intenções, e estruturas como o Rasa encaminham para uma resposta alternativa que pede ao utilizador que reformule os pedidos cuja pontuação máxima fica abaixo de um limiar de confiança.

Referências de avaliação e modelos#

O GLUE (2018) reuniu nove tarefas de frases e pares de frases, incluindo análise de sentimento, deteção de paráfrases e inferência em linguagem natural, numa única pontuação; o BERT elevou-a para 80,5 em 2018. O seu sucessor, mais difícil, SuperGLUE (2019), acrescentou correferências do tipo Winograd e, em janeiro de 2021, o DeBERTa da Microsoft e o T5 + Meena da Google ultrapassaram ambos a referência humana de 89,8. Pontuações altas podem dever-se à aprendizagem de atalhos: em 2018, Suchin Gururangan e colegas mostraram que um classificador que lia apenas a segunda frase de cada par de inferência classificava corretamente cerca de 67% do conjunto de dados SNLI, porque pistas como palavras de negação se correlacionam com o rótulo «contradição». Atualmente, os modelos de linguagem de grande escala (LLMs) executam a maioria das tarefas de NLU a partir de uma instrução, enquanto os modelos de codificador pequenos continuam a ser comuns quando a latência e o custo por pedido são importantes.

NLU na pesquisa e na visão#

A pesquisa semântica aplica NLU às consultas, fazendo corresponder o seu significado, em vez das palavras exatas; a pesquisa vetorial torna esse processo rápido em milhões de itens. A mesma ideia funciona entre modalidades quando texto e imagens partilham um espaço de embeddings, como no CLIP. O separador Images da página Explore da Ultralytics Platform recebe uma descrição de cena, como «gatos num sofá», e devolve imagens de conjuntos de dados públicos com base no que mostram, sem depender de nomes de ficheiros ou etiquetas.

NLU e termos relacionados#

• NLP: Todo o campo da computação aplicada à linguagem humana. A NLU interpreta a entrada e a geração de linguagem natural (NLG) produz texto.
• Reconhecimento de fala: Converte áudio falado em texto, e a NLU interpreta depois a transcrição.
• Reconhecimento ótico de caracteres (OCR): Extrai caracteres de imagens com texto, que a NLU pode depois interpretar.
• Resposta a perguntas: Devolve respostas a perguntas em linguagem natural, o que exige que a NLU interprete tanto a pergunta como o texto que a responde.