Conhecendo o Llama 3 da Meta

Quando fizemos um resumo das (AI) inovações do primeiro trimestre de 2024, vimos que os LLMs, ou grandes modelos de linguagem, estavam a ser lançados por várias organizações. A continuar esta tendência, no dia 18 de abril de 2024, a Meta lançou o Llama 3, um LLM de código aberto de última geração.

Você pode estar pensando: É só mais um LLM. Por que a comunidade de IA está tão animada com ele?

Embora você possa fazer o ajuste fino de modelos como o GPT-3 ou o Gemini para obter respostas personalizadas, eles não oferecem total transparência sobre seu funcionamento interno, como seus dados de treinamento, parâmetros do modelo ou algoritmos. Em contraste, o Llama 3 da Meta é mais transparente, com sua arquitetura e pesos disponíveis para download. Para a comunidade de IA, isso significa maior liberdade para experimentar.

Neste artigo, vamos aprender o que o Llama 3 pode fazer, como ele surgiu e seu impacto no campo da IA. Vamos direto ao ponto!

A evolução dos modelos Llama da Meta#

Antes de mergulharmos no Llama 3, vamos relembrar suas versões anteriores.

A Meta lançou o Llama 1 em fevereiro de 2023, que veio em quatro variantes com parâmetros variando de 7 bilhões a 65 bilhões. Em machine learning, "parâmetros" referem-se aos elementos do modelo que são aprendidos a partir dos dados de treinamento. Devido ao seu menor número de parâmetros, o Llama 1 às vezes tinha dificuldades com a compreensão de nuances e dava respostas inconsistentes.

Pouco depois do Llama 1, a Meta lançou o Llama 2 em julho de 2023. Foi treinado com 2 biliões de tokens. Um token representa uma parte de texto, como uma palavra ou parte de uma palavra, utilizada como unidade básica de dados para processamento no modelo. O modelo também incluiu melhorias, como uma janela de contexto duplicada de 4096 tokens para compreender passagens mais longas e mais de 1 milhão de anotações humanas para diminuir erros. Apesar destas melhorias, o Llama 2 ainda precisava de muita capacidade computacional, algo que a Meta pretendia corrigir com o Llama 3.

Apresentando o Llama 3 da Meta#

O Llama 3 vem com quatro variantes que foram treinadas com impressionantes 15 trilhões de tokens. Mais de 5% desses dados de treinamento (cerca de 800 milhões de tokens) representavam dados em 30 idiomas diferentes. Todas as variantes do Llama 3 podem ser executadas em vários tipos de hardware de consumo e têm um comprimento de contexto de 8k tokens.

Fig 1. Llama 3 Vs Llama 2.

As variantes do modelo vêm em dois tamanhos: 8B e 70B, indicando 8 bilhões e 70 bilhões de parâmetros, respectivamente. Existem também duas versões, base e instruct. "Base" refere-se à versão padrão pré-treinada. "Instruct" é uma versão de ajuste fino otimizada para aplicações ou domínios específicos por meio de treinamento adicional em dados relevantes.

Estas são as variantes do modelo Llama 3:

• Meta-Llama-3-8b: O modelo base de 8B fornece capacidades fundamentais de AI e é ideal para tarefas gerais, como o desenvolvimento de chatbots de atendimento ao cliente.
• Meta-Llama-3-8b-instruct: Uma versão aperfeiçoada por instruções do modelo de 8B que está otimizada para tarefas específicas. Por exemplo, pode ser utilizada para criar ferramentas educacionais que explicam temas complexos.
• Meta-Llama-3-70b: O modelo base de 70B foi concebido para aplicações de AI de alto desempenho. Este modelo funcionaria bem para aplicações como o processamento de literatura biomédica extensa para descoberta de fármacos.
• Meta-Llama-3-70b-instruct: Esta versão foi aperfeiçoada a partir do modelo de 70B para aplicações de alta precisão, como a análise de documentos legais ou médicos, onde a precisão é fundamental.

Arquitetura do modelo Llama 3 da Meta#

Assim como em outros avanços de IA da Meta, medidas rigorosas de controle de qualidade foram implementadas para manter a integridade dos dados e minimizar vieses durante o desenvolvimento do Llama 3. Portanto, o produto final é um modelo poderoso que foi criado de forma responsável.

A arquitetura do modelo Llama 3 destaca-se pelo seu foco na eficiência e no desempenho em tarefas de processamento de linguagem natural. Construída sobre uma estrutura baseada em Transformer, ela enfatiza a eficiência computacional, especialmente durante a geração de texto, usando uma arquitetura apenas de decodificador.

O modelo gera saídas baseadas apenas no contexto anterior sem um codificador para codificar entradas, tornando-o muito mais rápido.

Fig 2. Arquitetura do Modelo Responsável Llama 3.

Os modelos Llama 3 possuem um tokenizador com um vocabulário de 128K tokens. Um vocabulário maior significa que os modelos podem entender e processar melhor o texto. Além disso, os modelos agora usam grouped query attention (GQA) para melhorar a eficiência da inferência. GQA é uma técnica que você pode imaginar como um holofote que ajuda os modelos a se concentrarem nas partes relevantes dos dados de entrada para gerar respostas mais rápidas e precisas.

Aqui estão mais alguns detalhes interessantes sobre a arquitetura do modelo Llama 3:

• Processamento de Documentos com Consciência de Limites: O Llama 3 mantém a clareza através dos limites dos documentos, o que é fundamental para tarefas como sumarização.
• Melhor Compreensão de Código: Os dados de treinamento do Llama 3 incluem quatro vezes mais amostras de código, aumentando suas habilidades de codificação.
• Controle de Qualidade Robusto: Medidas rigorosas, incluindo filtros heurísticos e remoção de NSFW, garantem a integridade dos dados e minimizam vieses.

O Llama 3 está transformando a forma como abordamos o treinamento de modelos#

Para treinar os maiores modelos Llama 3, três tipos de paralelização foram combinados: paralelização de dados, paralelização de modelo e paralelização de pipeline.

A paralelização de dados divide os dados de treinamento entre múltiplas GPUs, enquanto a paralelização de modelo particiona a arquitetura do modelo para usar o poder computacional de cada GPU. A paralelização de pipeline divide o processo de treinamento em estágios sequenciais, otimizando a computação e a comunicação.

A implementação mais eficiente alcançou uma utilização computacional notável, excedendo 400 TFLOPS por GPU quando treinada em 16.000 GPUs simultaneamente. Essas execuções de treinamento foram realizadas em dois clusters de GPU personalizados, cada um compreendendo 24.000 GPUs. Essa infraestrutura computacional substancial forneceu o poder necessário para treinar os modelos Llama 3 de larga escala de forma eficiente.

Para maximizar o tempo de atividade da GPU, uma nova pilha de treinamento avançada foi desenvolvida, automatizando a detecção de erros, manuseio e manutenção. A confiabilidade do hardware e os mecanismos de detecção foram bastante aprimorados para mitigar riscos de corrupção silenciosa de dados. Além disso, novos sistemas de armazenamento escaláveis foram desenvolvidos para reduzir as sobrecargas de checkpointing e rollback.

Essas melhorias levaram a um tempo de treinamento geral de mais de 95% de eficácia. Combinadas, elas aumentaram a eficiência do treinamento do Llama 3 em aproximadamente três vezes em comparação com o Llama 2. Essa eficiência não é apenas impressionante; ela está abrindo novas possibilidades para métodos de treinamento de IA.

Abrindo portas com o Llama 3#

Como o Llama 3 é de código aberto, pesquisadores e estudantes podem estudar seu código, conduzir experimentos e participar de discussões sobre preocupações éticas e vieses. No entanto, o Llama 3 não é apenas para o público acadêmico. Ele também está fazendo sucesso em aplicações práticas. Ele está se tornando a espinha dorsal da Interface de Chat da Meta AI, integrando-se perfeitamente a plataformas como Facebook, Instagram, WhatsApp e Messenger. Com a Meta AI, os usuários podem participar de conversas em linguagem natural, acessar recomendações personalizadas, realizar tarefas e se conectar com outras pessoas facilmente.

Fig 3. Meta AI: Alimentado pelo Llama 3.

Comparando o Llama 3 com outros LLMs#

O Llama 3 tem um desempenho excepcionalmente bom em vários benchmarks importantes que avaliam a compreensão complexa da linguagem e habilidades de raciocínio. Aqui estão alguns dos benchmarks que testam vários aspectos das capacidades do Llama 3:

• Massive Multitask Language Understanding (MMLU) - Mede seu conhecimento em vários domínios.
• General Purpose Question Answering (GPQA) - Avalia a capacidade do modelo de gerar respostas coerentes e corretas para uma ampla gama de perguntas de conhecimento geral.
• HumanEval - Foca em tarefas de codificação e resolução de problemas, testando a capacidade do modelo de gerar código de programação funcional e resolver desafios algorítmicos.

Os resultados notáveis do Llama 3 nestes testes distinguem-no claramente de concorrentes como o Gemma 7B da Google, o Mistral 7B da Mistral e o Claude 3 Sonnet da Anthropic. De acordo com as estatísticas publicadas, particularmente o modelo 70B, o Llama 3 supera estes modelos em todos os benchmarks acima.

Fig 4. Comparando o Llama 3 com outros LLMs.

O Llama 3 da Meta está sendo disponibilizado amplamente#

A Meta está expandindo o alcance do Llama 3, disponibilizando-o em várias plataformas para usuários comuns e desenvolvedores. Para os usuários do dia a dia, o Llama 3 está integrado nas plataformas populares da Meta, como WhatsApp, Instagram, Facebook e Messenger. Os usuários podem acessar recursos avançados como pesquisa em tempo real e a capacidade de gerar conteúdo criativo diretamente dentro desses aplicativos.

O Llama 3 também está sendo incorporado em tecnologias vestíveis como os óculos inteligentes Ray-Ban Meta e o headset de VR Meta Quest para experiências interativas.

O Llama 3 está disponível em uma variedade de plataformas para desenvolvedores, incluindo AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM e Snowflake. Você também pode acessar esses modelos diretamente da Meta. A ampla gama de opções torna fácil para os desenvolvedores integrarem essas capacidades avançadas de modelo de IA em seus projetos, quer prefiram trabalhar diretamente com a Meta ou através de outras plataformas populares.

O resumo#

Os avanços de machine learning continuam a transformar a forma como interagimos com a tecnologia todos os dias. O Llama 3 da Meta mostra que os LLMs não servem apenas para gerar texto. Os LLMs estão resolvendo problemas complexos e lidando com vários idiomas. No geral, o Llama 3 está tornando a IA mais adaptável e acessível do que nunca. Olhando para o futuro, as atualizações planejadas para o Llama 3 prometem ainda mais capacidades, como lidar com vários modelos e entender contextos maiores.

Consulta o nosso repositório do GitHub e junta-te à nossa comunidade para saberes mais sobre AI. Visita as nossas páginas de soluções para ver como a AI está a ser aplicada em áreas como fabrico e agricultura.