Glossário

Processamento de Linguagem Natural (NLP)

Explore o Processamento de Linguagem Natural (PNL), a tecnologia que permite aos computadores compreender, interpretar e manipular a linguagem humana.

O Processamento de Linguagem Natural (PNL) é um ramo especializado da Inteligência Artificial (IA) e informática que se centra na interação entre computadores e humanos através da linguagem natural. O objetivo final da PNL é ler, decifrar, compreender e dar sentido às línguas humanas humanas de uma forma que seja valiosa. Faz a ponte entre a comunicação humana e a compreensão informática, permitindo aos sistemas processar eficientemente grandes quantidades de texto não estruturado e dados de voz. Desde chatbots a serviços de tradução, a PNL está na base de muitas das interações digitais que vivemos diariamente.

Como funciona a PNL

Os sistemas de PNL decompõem a linguagem em partes mais curtas e elementares para compreender as relações entre elas e como funcionam em conjunto para criar significado. Este processo envolve várias fases e tecnologias fundamentais:

• Tokenização: O primeiro passo na maioria dos pipelines de NLP, em que o texto em bruto é dividido em unidades mais pequenas chamadas tokens (palavras, sub-palavras ou caracteres).
• Modelação estatística: A PNL inicial baseava-se em sistemas baseados em regras, mas as abordagens modernas utilizam aprendizagem automática (ML) para aprender padrões a partir de grandes conjuntos de dados.
• Aprendizagem profunda (DL): Redes neurais avançadas redes neuronais avançadas, nomeadamente Redes Neuronais Recorrentes (RNNs) e Transformers, revolucionaram o sector. A arquitetura arquitetura Transformer, introduzida no artigo Atenção é tudo o que você precisapermite que os modelos lidem com dependências de longo alcance no texto e é a base dos modernos Modelos de Linguagem de Grande Porte (LLMs) como o GPT-4 e o BERT.

Aplicações no Mundo Real

A PNL é parte integrante de muitas tecnologias modernas. Eis dois exemplos concretos da sua aplicação:

1. Análise de sentimentos em finanças e Retalho:As empresas e as instituições financeiras utilizam a PNL para avaliar a opinião pública através da análise de textos das redes sociais, notícias, e comentários de clientes. Ao classificar o tom emocional do texto como positivo, negativo ou neutro, as empresas podem prever as tendências do mercado de acções ou avaliar a reputação da marca. Ferramentas como o pacote Stanford CoreNLP são frequentemente utilizadas para estas tarefas.
2. Documentação clínica em Cuidados de saúde:No domínio da medicina, a PNL extrai automaticamente informações críticas de notas clínicas não estruturadas, tais como sintomas, diagnósticos e medicamentos dos pacientes. Isto automatiza os processos de codificação (como a CID-10), melhora a previsão do risco para o doente e simplifica os fluxos de trabalho administrativos, como foi salientado. risco para o paciente e simplifica os fluxos de trabalho administrativos, conforme destacado por pesquisas de organizações como o National Institutes of Health (NIH).

PNL vs. Conceitos Relacionados

Embora a PNL seja um domínio vasto, é frequentemente confundida com subdomínios específicos ou tecnologias relacionadas:

• Compreensão da linguagem natural (NLU):A NLU é um subconjunto da PNL especificamente centrado na compreensão da leitura automática - determinar o significado e a intenção intenção por detrás do texto. Enquanto a PNL inclui o processamento e a geração, a NLU trata estritamente da compreensão.
• Visão por computador (CV):A CV centra-se na interpretação de dados visuais (imagens/vídeo), enquanto a PNL se centra em dados linguísticos. No entanto, estes domínios convergem cada vez mais em aplicações multimodais de IA, como a legendagem de imagens legendagem de imagens ou resposta a perguntas visuais. Ultralytics é especializada em CV com modelos como YOLO11mas a integração efectiva da CV com a PNL (por exemplo, através do YOLO) permite a deteção de vocabulário aberto utilizando mensagens de texto.

Exemplo de código: Reconhecimento de entidades nomeadas

Uma tarefa comum de PNL é Reconhecimento de Entidades Nomeadas (NER)que identifica e classifica entidades-chave no texto. O exemplo seguinte utiliza o popular spaCy biblioteca para extrair entidades, um fluxo de trabalho comparável à forma como se pode utilizar ultralytics para a deteção de objectos.

# Install spaCy: pip install spacy
# Download model: python -m spacy download en_core_web_sm
import spacy

# Load a pre-trained standard NLP model
nlp = spacy.load("en_core_web_sm")

# Process a text string containing entities
text = "Ultralytics launched YOLO11 in Madrid this year."
doc = nlp(text)

# Iterate over detected entities and print their label
for ent in doc.ents:
    print(f"Entity: '{ent.text}' | Label: {ent.label_}")
# Output: Entity: 'Ultralytics' | Label: ORG, Entity: 'YOLO11' | Label: PRODUCT, ...

Principais ferramentas e recursos de PNL

O desenvolvimento de aplicações de PNL requer ferramentas robustas. As ferramentas Python oferece excelentes bibliotecas:

• spaCy: Concebido para utilização na produção, oferecendo modelos pré-treinados modelos pré-treinados para muitos idiomas.
• NLTK (Natural Language Toolkit): Uma plataforma líder para construir programas Python para trabalhar com dados de linguagem humana, ideal para ensino e investigação.
• PlataformaUltralytics : Embora centrada na visão, a plataforma suporta o ciclo de vida dos modelos de IA e, com o aumento dos modelos multimodais, facilita a gestão de sistemas de IA complexos.

Para um mergulho mais profundo na forma como a PNL e a Visão por Computador se estão a unir, leia o nosso guia sobre como fazer a ponte entre a PNL e a visão computacional.