Processamento de linguagem natural (PNL)

O Processamento de Linguagem Natural (PNL) é um domínio dinâmico da Inteligência Artificial (IA) e da Aprendizagem Automática (AM) dedicado a permitir que os computadores compreendam, processem, interpretem e gerem linguagem humana, tanto texto como discurso. Combina princípios da linguística computacional com modelação estatística, ML e modelos de aprendizagem profunda (DL) para colmatar o fosso entre a comunicação humana e a compreensão informática. O objetivo final é permitir que as máquinas interajam com a linguagem de uma forma que seja significativa e útil, automatizando tarefas que tradicionalmente requerem capacidades linguísticas humanas.

Conceitos-chave da PNL

A PNL envolve várias tarefas essenciais que decompõem as complexidades da linguagem em componentes que as máquinas podem analisar e utilizar:

• Tokenização: O passo inicial de dividir o texto em unidades mais pequenas, tais como palavras ou subpalavras (tokens).
• Reconhecimento de entidades nomeadas (NER): Identificação e categorização de entidades-chave no texto, tais como nomes de pessoas, organizações, localizações, datas e valores monetários.
• Análise de sentimento: Determinação do tom emocional ou da opinião subjectiva expressa num texto (por exemplo, positivo, negativo, neutro).
• Tradução automática: Tradução automática de texto ou discurso de uma língua para outra, como se vê em ferramentas como o Google Translate.
• Modelação de linguagem: Construção de modelos que prevêem a probabilidade de uma sequência de palavras, crucial para tarefas como a geração de texto e o reconhecimento de voz.

Como funciona a PNL

Os sistemas de PNL utilizam normalmente uma abordagem de pipeline. Os dados de texto em bruto são primeiro submetidos a um pré-processamento de dados, que inclui tarefas como a limpeza do texto (remoção de caracteres irrelevantes ou formatação), tokenização e, por vezes, normalização (conversão de palavras para uma forma básica). Após o pré-processamento, são extraídas caraterísticas relevantes para a tarefa. Estas caraterísticas são depois introduzidas em modelos ML ou DL para análise ou geração.

A PNL moderna assenta fortemente nas redes neuronais (NN), em especial em arquitecturas sofisticadas como as redes neuronais recorrentes (RNN) para dados sequenciais e, mais recentemente, nos transformadores. Os transformadores, que se distinguem pelos seus poderosos mecanismos de atenção, têm-se revelado excecionalmente eficazes na captação de dependências de longo alcance e do contexto da linguagem. Esta arquitetura está na base de muitos dos modelos mais avançados, incluindo variantes dos modelos BERT e GPT, como o GPT-4. As plataformas de investigação, como a Antologia ACL, acolhem numerosos documentos que detalham estes avanços.

Aplicações da PNL

A PNL está na base de uma vasta gama de aplicações que estão a transformar as indústrias e a melhorar as interações diárias. Eis dois exemplos importantes:

1. Assistentes virtuais e chatbots: Sistemas como o Siri da Apple e o Alexa da Amazon, juntamente com inúmeros chatbots de serviço ao cliente, utilizam extensivamente a PNL. Utilizam o reconhecimento de voz para converter palavras faladas em texto, a Compreensão da Linguagem Natural (NLU) para compreender a intenção do utilizador e, por vezes, a geração de texto para formular respostas.
2. Filtragem de spam por correio eletrónico: As técnicas de PNL analisam o conteúdo do correio eletrónico para identificar padrões caraterísticos de spam ou tentativas de phishing. Os algoritmos classificam os e-mails com base em palavras-chave, reputação do remetente e estrutura linguística, ajudando a manter as caixas de entrada limpas e seguras.

Outras aplicações comuns incluem a sumarização de texto para condensar documentos longos, motores de pesquisa semântica que compreendem o significado da consulta para além da simples correspondência de palavras-chave e ferramentas de correção gramatical/estilo como o Grammarly. Muitos casos de utilização inovadores da IA dependem fortemente da PNL.

PNL vs. conceitos relacionados

Embora relacionada, a PNL difere de alguns termos semelhantes:

• Compreensão da linguagem natural (NLU): A NLU é um subconjunto da PNL especificamente centrado no aspeto da compreensão - extrair o significado, a intenção e o contexto da linguagem. A PNL é mais abrangente e também engloba tarefas como a geração de texto e a síntese de voz.
• Geração de texto: Trata-se de uma capacidade ou tarefa específica no âmbito da PNL que se centra na produção de texto semelhante ao humano. Embora seja uma parte essencial de muitas aplicações de PNL (como chatbots ou tradução), não abrange os aspectos de compreensão ou análise da PNL.
• Visão por computador (CV): A CV trata da interpretação e compreensão de informações provenientes de dados visuais, como imagens e vídeos, centrando-se em tarefas como a deteção de objectos ou a segmentação de imagens. A PNL, pelo contrário, centra-se nos dados linguísticos. No entanto, os campos estão a cruzar-se cada vez mais em modelos multimodais que processam texto e imagens, permitindo aplicações como a legendagem automática de imagens. Pode ler mais sobre a ligação entre PNL e CV. A Ultralytics é especializada em CV, oferecendo modelos como o Ultralytics YOLO11 para tarefas que exigem elevada precisão e velocidade.

Ferramentas e plataformas

O desenvolvimento e a implementação de aplicações de PNL implicam frequentemente o recurso a bibliotecas e plataformas especializadas:

• Bibliotecas: Bibliotecas de código aberto, como spaCy e NLTK, fornecem ferramentas para tarefas comuns de PNL, como tokenização, análise e reconhecimento de entidades.
• Plataformas: A Hugging Face oferece um vasto repositório de modelos pré-treinados (especialmente Transformers), conjuntos de dados e ferramentas que aceleram significativamente o desenvolvimento. Para gerir o ciclo de vida completo dos modelos de ML, incluindo os utilizados em NLP ou em pipelines CV-NLP combinados, plataformas como o Ultralytics HUB fornecem capacidades robustas de MLOps, simplificando a formação, a implementação e a monitorização. Explore a documentação do Ultralytics para obter mais recursos sobre o desenvolvimento e a implantação de modelos.