Large Language Model (LLM)

Um modelo de linguagem de grande dimensão (LLM) é uma rede neuronal, quase sempre um Transformer, com milhares de milhões de parâmetros, treinada com biliões de tokens de texto para prever o token seguinte de uma sequência. Este único objetivo, aplicado em grande escala, produz modelos que respondem a perguntas, resumem documentos, traduzem, escrevem código e chamam ferramentas de software. GPT da OpenAI, Claude da Anthropic e Gemini da Google são famílias de LLM disponibilizadas através de APIs, e Llama da Meta, Qwen da Alibaba, DeepSeek, Mistral e gpt-oss da OpenAI disponibilizam pesos abertos. A arquitetura Transformer surgiu no artigo de 2017 Attention Is All You Need; em 2020, o GPT-3 mostrou que um modelo com 175 mil milhões de parâmetros podia aprender tarefas a partir de exemplos no seu prompt, e o ChatGPT levou os LLMs a um público vasto em novembro de 2022.

Como funcionam os LLMs#

Um LLM começa por executar a tokenização para converter o texto em IDs de tokens e procurar um vetor de embedding para cada um. Os vetores atravessam uma pilha de blocos idênticos, cada um combinando autoatenção causal, que permite a cada token obter informação dos tokens anteriores, com uma camada feed-forward que transforma cada token separadamente. O último bloco produz uma probabilidade softmax para cada token do vocabulário; o modelo escolhe um, acrescenta-o e repete o processo, que é assim que funciona a geração de texto:

O tamanho é medido em parâmetros, e muitos modelos recentes são esparsos. Em uma mistura de especialistas (MoE), um roteador encaminha cada token por alguns dos muitos especialistas feed-forward, por isso o DeepSeek-V3 tem 671 bilhões de parâmetros, mas usa 37 bilhões por token. A quantidade de texto que um modelo consegue ler de uma vez, sua janela de contexto, aumentou de 2.048 tokens no GPT-3 para um milhão de tokens ou mais em vários modelos atuais, e o processamento dessas entradas longas depende de um cache KV que armazena as chaves e os valores de atenção de cada token anterior.

Como são treinados os LLMs#

O pré-treinamento é aprendizado autossupervisionado: o modelo prevê cada token seguinte de páginas da web, livros e código, sem rótulos humanos. As leis de escala preveem como a perda diminui com mais parâmetros, dados e capacidade de computação, e o estudo Chinchilla da DeepMind concluiu que o treinamento com computação ótima usa cerca de 20 tokens por parâmetro. Atualmente, os modelos são treinados muito além dessa proporção; a Meta pré-treinou o Llama 3 com cerca de 15 trilhões de tokens. O pós-treinamento transforma o modelo-base resultante em um assistente. O ajuste por instruções ensina o modelo a seguir solicitações, e o aprendizado por reforço com feedback humano (RLHF) ou a otimização direta de preferências alinha as respostas às preferências humanas; os resultados do InstructGPT da OpenAI mostraram que os avaliadores preferiram um modelo ajustado de 1,3 bilhão de parâmetros ao GPT-3 de 175 bilhões de parâmetros. Os modelos de raciocínio, como o o1 da OpenAI e o DeepSeek-R1, acrescentam aprendizado por reforço em larga escala; no caso do DeepSeek-R1, incluem aprendizado por reforço com recompensas verificáveis em problemas de matemática e programação com respostas verificáveis, treinando-os para explicitar longas cadeias de raciocínio antes de responder. Em seguida, as equipes adaptam um modelo ao próprio domínio com ajuste fino, muitas vezes por meio de LoRA, ou mantêm os pesos inalterados e fornecem conhecimento por meio da geração aumentada por recuperação (RAG).

Aplicações#

LLMs alimentam chatbots e assistentes, ferramentas de programação agêntica que editam e testam repositórios inteiros, sistemas de busca e resposta a perguntas sobre documentos e agentes de IA que planejam tarefas com várias etapas por meio de chamadas de função. Adicionar um codificador de imagem transforma um LLM em um modelo de linguagem visual (VLM) que responde a perguntas sobre fotos, gráficos e quadros de vídeo. As principais famílias de LLMs também leem imagens, e o Leaderboard de VLMs da Ultralytics compara a precisão com que modelos como GPT-6.1 Sol, Claude Opus 5.5 e Gemini 4 Argon detectam objetos em conjuntos de dados do mundo real. A interface LLM da Ultralytics envia texto ou imagens a modelos compatíveis com OpenAI da OpenAI, DeepSeek, Kimi, Z.AI, OpenRouter ou de um servidor local, para que um pipeline YOLO26 possa chamar um LLM somente quando uma detecção precisa de explicação, como descrever uma cena quando uma pessoa aparece.

LLM vs. termos relacionados#

• Processamento de linguagem natural (NLP): O campo da computação com linguagem humana. Atualmente, os LLMs são o seu tipo de modelo dominante.
• IA generativa: Qualquer modelo que crie conteúdo novo, incluindo geradores de imagens, áudio e vídeo.
• Modelo de base: A categoria mais ampla, assim designada por investigadores de Stanford em 2021, de modelos de grande dimensão pré-treinados com dados abrangentes e adaptados a muitas tarefas. Inclui modelos de base de visão, bem como LLMs.
• Modelo de linguagem pequeno (SLM): Um modelo de linguagem suficientemente compacto para telemóveis, computadores portáteis ou disponibilização de baixo custo, normalmente com alguns milhares de milhões de parâmetros ou menos.

Limitações#

Os LLMs produzem textos fluentes, sejam eles verdadeiros ou não, por isso as alucinações continuam sendo o principal risco em trabalhos factuais; além disso, um modelo não sabe nada ocorrido depois do seu limite de treinamento, a menos que sistemas de recuperação ou ferramentas forneçam essas informações. Os dados de treinamento transmitem seus vieses ao modelo, e instruções ocultas em páginas da web ou documentos podem sequestrar um agente por meio de injeção de prompt. A precisão também cai quando os contextos ficam muito longos, um efeito chamado deterioração do contexto. A execução de LLMs também exige muita memória: um modelo de 70 bilhões de parâmetros precisa de cerca de 140 GB para os pesos a 16 bits e cerca de 35 GB a 4 bits, por isso formatos de quantização de modelos, como GGUF, permitem executar esses modelos em uma única estação de trabalho.