Modelagem de Linguagem

A modelagem de linguagem é uma tarefa fundamental em Inteligência Artificial (IA) e um componente central do Processamento de Linguagem Natural (NLP). Envolve o desenvolvimento de modelos que podem prever a probabilidade de uma sequência de palavras. Essencialmente, um modelo de linguagem aprende os padrões, a gramática e o contexto de uma linguagem a partir de vastas quantidades de dados de texto. Isso permite que ele determine a probabilidade de uma determinada palavra aparecer em seguida em uma frase. Por exemplo, dada a frase "o gato sentou no", um modelo de linguagem bem treinado atribuiria uma alta probabilidade à palavra "tapete" e uma probabilidade muito baixa a "batata". Essa capacidade preditiva é a base para muitas aplicações de IA baseadas em linguagem.

Como funciona a modelagem de linguagem?

A modelagem de linguagem é uma tarefa dentro do Aprendizado de Máquina (ML) onde um modelo é treinado para entender e gerar linguagem humana. O processo começa alimentando o modelo com datasets de texto massivos, como o conteúdo da Wikipédia ou uma grande coleção de livros. Ao analisar esses dados, o modelo aprende relações estatísticas entre as palavras.

Os modelos de linguagem modernos dependem fortemente do Aprendizado Profundo (DL) e são frequentemente construídos usando arquiteturas de Redes Neurais (NN). A arquitetura Transformer, introduzida no artigo "Attention Is All You Need", tem sido particularmente revolucionária. Ela usa um mecanismo de atenção que permite ao modelo ponderar a importância de diferentes palavras no texto de entrada, permitindo que ele capture dependências complexas e de longo alcance e entenda o contexto de forma mais eficaz. O treinamento do modelo envolve o ajuste de seus pesos do modelo internos para minimizar a diferença entre suas previsões e as sequências de texto reais nos dados de treinamento, um processo otimizado usando retropropagação.

Aplicações no Mundo Real da Modelagem de Linguagem

As capacidades dos modelos de linguagem levaram à sua integração em inúmeras tecnologias que usamos diariamente.

• Texto Preditivo e Autocompletar: Quando o teclado do seu smartphone sugere a próxima palavra enquanto você digita, ele está usando um modelo de linguagem. Ao analisar a sequência de palavras que você já escreveu, ele prevê a palavra mais provável a seguir, acelerando a comunicação. Essa tecnologia é um recurso central de sistemas como o Gboard do Google.
• Tradução Automática: Serviços como o Google Tradutor e o DeepL usam modelos de linguagem sofisticados para traduzir texto entre idiomas. Eles não apenas realizam a substituição palavra por palavra; em vez disso, eles analisam o significado e a estrutura do texto de origem para gerar uma tradução gramaticalmente correta e contextualmente precisa no idioma de destino. Esta é uma aplicação de modelos de sequência para sequência.
• Criação e Sumarização de Conteúdo: Os modelos de linguagem são usados para geração de texto, onde podem escrever artigos, e-mails ou histórias criativas. Eles também alimentam ferramentas de sumarização de texto que condensam documentos longos em resumos concisos e são o núcleo de chatbots interativos.

Conceitos Relacionados

É útil distinguir a modelagem de linguagem de termos relacionados:

• Processamento de Linguagem Natural (PNL): A modelagem de linguagem é um subcampo ou tarefa central dentro da PNL. PNL é o domínio mais amplo preocupado em permitir que os computadores processem, analisem e compreendam a linguagem humana em geral. Confira nossa visão geral de PNL.
• Modelos de Linguagem Grandes (LLMs): Estes são essencialmente modelos de linguagem muito grandes e poderosos, normalmente construídos usando a arquitetura Transformer e treinados em enormes conjuntos de dados, muitas vezes aproveitando os princípios de Big Data. Exemplos incluem modelos como GPT-4 e BERT. Os LLMs são frequentemente considerados Modelos de Fundação, um conceito detalhado pelo Centro de Pesquisa em Modelos de Fundação (CRFM) de Stanford.
• Visão Computacional (VC): Enquanto os modelos de linguagem processam texto, a VC se concentra em permitir que as máquinas interpretem e compreendam informações visuais de imagens e vídeos. As tarefas incluem detecção de objetos, classificação de imagens e segmentação de imagens, frequentemente abordadas por modelos como o Ultralytics YOLO. A interseção desses campos é explorada em Modelos Multimodais e Modelos de Linguagem de Visão, que processam dados textuais e visuais. Plataformas como o Ultralytics HUB agilizam o treinamento e a implantação de vários modelos de IA, incluindo aqueles para tarefas de visão. Você pode explorar várias tarefas de VC suportadas pelo Ultralytics.