Conheça o Llama 3.1: a mais recente família de modelos de código aberto da Meta

Em 23 de julho de 2024, a Meta lançou a nova família de modelos de código aberto Llama 3.1, com os versáteis modelos 8B, o avançado 70B e o Llama 3.1 405B, que se destacou como o maior modelo de linguagem de grande porte (LLM) de código aberto no momento do lançamento.

Você talvez esteja se perguntando o que diferencia esses novos modelos dos anteriores. O lançamento dos modelos Llama 3.1 representa um marco significativo na tecnologia de IA. Os modelos recém-lançados oferecem melhorias importantes no processamento de linguagem natural e também introduzem recursos e aprimoramentos que não existiam nas versões anteriores. Esse lançamento promete mudar a maneira como usamos a IA em tarefas complexas, oferecendo um conjunto poderoso de ferramentas tanto para pesquisadores quanto para desenvolvedores.

Neste artigo, vamos explorar a família de modelos Llama 3.1, analisando a sua arquitetura, as principais melhorias, as aplicações práticas e uma comparação detalhada do seu desempenho.

O que é o Llama 3.1?#

O Llama 3.1 da Meta está avançando significativamente no cenário da IA e rivalizando com os recursos de modelos de ponta como o GPT-4o da OpenAI e o Claude 3.5 Sonnet da Anthropic.

Embora possa ser considerado uma atualização menor em relação ao modelo anterior Llama 3, a Meta foi mais longe ao introduzir algumas melhorias importantes na nova família de modelos, que oferece:

• Suporte para oito idiomas: inglês, alemão, francês, italiano, português, hindi, espanhol e tailandês, alargando o alcance a um público global.
• Janela de contexto de 128.000 tokens: permite que os modelos processem entradas muito mais longas e mantenham o contexto em conversas ou documentos extensos.
• Melhores capacidades de raciocínio: permitem aos modelos ser mais versáteis e realizar tarefas complexas com eficácia.
• Segurança rigorosa: foram implementados testes para mitigar riscos, reduzir enviesamentos e impedir resultados prejudiciais, promovendo uma utilização responsável da IA.

Além de tudo o que foi referido, a nova família de modelos Llama 3.1 representa um grande avanço, com o seu impressionante modelo de 405 mil milhões de parâmetros. Este número substancial de parâmetros representa um salto significativo no desenvolvimento da IA, aumentando consideravelmente a capacidade do modelo para compreender e gerar texto complexo. O modelo 405B inclui um vasto conjunto de parâmetros, cada um dos quais corresponde aos pesos e enviesamentos da rede neural que o modelo aprende durante o treino. Isto permite ao modelo captar padrões linguísticos mais complexos, estabelecendo um novo padrão para os modelos de linguagem de grande escala e demonstrando o potencial futuro da tecnologia de IA. Este modelo de grande escala não só melhora o desempenho numa vasta gama de tarefas, como também alarga os limites do que a IA consegue alcançar na geração e compreensão de texto.

Arquitetura do modelo#

O Llama 3.1 utiliza a arquitetura de modelo Transformer apenas com descodificador, um pilar dos modelos de linguagem de grande escala modernos. Esta arquitetura é reconhecida pela sua eficiência e eficácia na execução de tarefas linguísticas complexas. A utilização de Transformers permite ao Llama 3.1 destacar-se na compreensão e geração de texto semelhante ao produzido por humanos, oferecendo uma vantagem significativa em relação aos modelos que utilizam arquiteturas mais antigas, como LSTM e GRU.

Além disso, a família de modelos Llama 3.1 utiliza um Transformer denso convencional em vez da arquitetura de mistura de especialistas (MoE), uma escolha deliberada que melhora a eficiência e a estabilidade do treino. Evitar a arquitetura MoE garante um processo de treino mais consistente e fiável, uma vez que a MoE pode, por vezes, introduzir complexidades que afetam a estabilidade e o desempenho do modelo.

Fig. 1. Diagrama da arquitetura do modelo Transformer do Llama 3.1.

A arquitetura do modelo Llama 3.1 funciona da seguinte forma:

1. Tokens de texto de entrada: O processo começa com a entrada, que é composta por tokens de texto. Estes tokens são unidades individuais de texto, como palavras ou subpalavras, que o modelo irá processar.

2. Embeddings de tokens: Em seguida, os tokens de texto são convertidos em embeddings de tokens. Os embeddings são representações vetoriais densas dos tokens que captam o seu significado semântico e as relações entre eles no texto. Esta transformação é fundamental, pois permite que o modelo trabalhe com dados numéricos.

3. Mecanismo de autoatenção: A autoatenção permite que o modelo pondere a importância dos diferentes tokens da sequência de entrada ao codificar cada token. Este mecanismo ajuda o modelo a compreender o contexto e as relações entre os tokens, independentemente da posição que ocupam na sequência. No mecanismo de autoatenção, cada token da sequência de entrada é representado por um vetor de números. Estes vetores são utilizados para criar três tipos diferentes de representações: consultas, chaves e valores.

O modelo calcula o nível de atenção que cada token deve atribuir aos outros tokens, comparando os vetores de consulta com os vetores de chave. Esta comparação gera pontuações que indicam a relevância de cada token em relação aos restantes.

4. Rede feedforward: Após o processo de autoatenção, os dados passam por uma rede feedforward. Esta rede neuronal totalmente ligada aplica transformações não lineares aos dados, ajudando o modelo a reconhecer e aprender padrões complexos.

5. Camadas repetidas: As camadas de autoatenção e da rede feedforward são empilhadas várias vezes. Esta aplicação repetida permite ao modelo captar dependências e padrões mais complexos nos dados.

6. Token de texto de saída: Por fim, os dados processados são utilizados para gerar o token de texto de saída. Este token corresponde à previsão do modelo para a palavra ou subpalavra seguinte da sequência, com base no contexto da entrada.

Desempenho da família de modelos Llama 3.1 e comparação com outros modelos#

Testes de benchmark revelam que o Llama 3.1 não só se equipara a esses modelos de última geração, como também supera alguns deles em determinadas tarefas, demonstrando seu alto desempenho.

Llama 3.1 405B: elevada capacidade#

O modelo Llama 3.1 foi amplamente avaliado em mais de 150 conjuntos de dados de benchmark, nos quais foi comparado rigorosamente a outros modelos de linguagem de grande porte líderes. O modelo Llama 3.1 405B, reconhecido como o mais avançado da nova série, foi comparado a modelos líderes como o GPT-4 da OpenAI e o Claude 3.5 Sonnet. Os resultados dessas comparações mostram que o Llama 3.1 é competitivo e se destaca pelo desempenho e pelos recursos superiores em várias tarefas.

Fig. 2. Tabela que compara o desempenho do modelo Llama 3.1 405B com modelos semelhantes.

O impressionante número de parâmetros e a arquitetura avançada deste modelo permitem-lhe destacar-se na compreensão e geração de texto complexo, superando muitas vezes os concorrentes em benchmarks específicos. Estas avaliações realçam o potencial do Llama 3.1 para estabelecer novos padrões no domínio dos modelos de linguagem de grande escala, disponibilizando aos investigadores e programadores uma ferramenta poderosa para diversas aplicações.

Llama 3.1 70B: gama média#

Os modelos Llama menores e mais leves também apresentam um desempenho sólido em comparação com seus equivalentes. O modelo Llama 3.1 70B foi avaliado em relação a modelos maiores, como Mixtral 8x22B e GPT-3.5 Turbo. Por exemplo, o modelo Llama 3.1 70B demonstra consistentemente desempenho superior em benchmarks de raciocínio, como ARC Challenge, e em benchmarks de programação, como HumanEval. Esses resultados destacam a versatilidade e a robustez da série Llama 3.1 em diferentes tamanhos de modelo, tornando-a uma ferramenta valiosa para uma ampla variedade de aplicações.

Llama 3.1 8B: leve#

Além disso, o modelo Llama 3.1 8B foi comparado a modelos de tamanho semelhante, incluindo o Gemma 2 9B e o Mistral 7B. Essas comparações mostram que o Llama 3.1 8B supera seus concorrentes em vários conjuntos de dados de benchmark e diferentes áreas, como o conjunto de dados GPQA para raciocínio e o MBPP EvalPlus para programação, demonstrando sua eficiência e capacidade apesar do menor número de parâmetros.

Fig. 3. Tabela que compara o desempenho dos modelos Llama 3.1 70B e 8B com modelos semelhantes.

Como podes beneficiar dos modelos da família Llama 3.1?#

A Meta tornou possível aplicar os novos modelos de várias formas práticas e úteis para os utilizadores:

Ajuste fino#

Agora, os usuários podem ajustar os modelos Llama 3.1 para casos de uso específicos. Esse processo envolve treinar o modelo com novos dados externos aos quais ele não havia sido exposto, aumentando assim seu desempenho e sua adaptabilidade para aplicações específicas. O ajuste fino dá ao modelo uma vantagem significativa, permitindo que ele compreenda e gere melhor conteúdo relevante para domínios ou tarefas específicos.

Integração num sistema RAG#

Agora, os modelos Llama 3.1 podem ser integrados a sistemas de geração aumentada por recuperação (RAG). Essa integração permite que o modelo use fontes de dados externas dinamicamente, aprimorando sua capacidade de fornecer respostas precisas e relevantes ao contexto. Ao recuperar informações de grandes conjuntos de dados e incorporá-las ao processo de geração, o Llama 3.1 melhora significativamente seu desempenho em tarefas que exigem muitos conhecimentos, oferecendo aos usuários resultados mais precisos e bem fundamentados.

Geração de dados sintéticos#

Também podes utilizar o modelo de 405 mil milhões de parâmetros para gerar dados sintéticos de alta qualidade e melhorar o desempenho de modelos especializados em casos de utilização específicos. Esta abordagem aproveita as extensas capacidades do Llama 3.1 para produzir dados específicos e relevantes, melhorando assim a precisão e a eficiência de aplicações de IA personalizadas.

Principais conclusões#

O lançamento do Llama 3.1 representa um grande avanço no domínio dos modelos de linguagem de grande escala e demonstra o compromisso da Meta com o progresso da tecnologia de IA.

Com o seu elevado número de parâmetros, o extenso treino com conjuntos de dados diversificados e o foco em processos de treino robustos e estáveis, o Llama 3.1 estabelece novos padrões de desempenho e capacidade no processamento de linguagem natural. Quer se trate de geração de texto, resumo ou tarefas conversacionais complexas, o Llama 3.1 demonstra uma vantagem competitiva sobre outros modelos de referência. Este modelo não só alarga os limites do que a IA consegue alcançar atualmente, como também abre caminho a inovações futuras no panorama em constante evolução da inteligência artificial.

Na Ultralytics, temos o compromisso de ampliar os limites da tecnologia de IA. Para explorar nossas soluções de IA e acompanhar nossas inovações mais recentes, confira nosso repositório no GitHub. Participe da nossa comunidade no Discord e veja como estamos transformando setores como o de carros autônomos e a indústria!