Conhecendo o Llama 3 da Meta

Ao fazermos um resumo das inovações em (IA) do primeiro trimestre de 2024, vimos que os LLMs, ou grandes modelos de linguagem, estavam sendo lançados por diversas organizações. Seguindo essa tendência, em 18 de abril de 2024, a Meta lançou o Llama 3, um LLM de código aberto de última geração.

Você pode estar pensando: É só mais um LLM. Por que a comunidade de IA está tão animada com ele?

Embora você possa fazer o ajuste fino de modelos como o GPT-3 ou o Gemini para obter respostas personalizadas, eles não oferecem total transparência sobre seu funcionamento interno, como seus dados de treinamento, parâmetros do modelo ou algoritmos. Em contraste, o Llama 3 da Meta é mais transparente, com sua arquitetura e pesos disponíveis para download. Para a comunidade de IA, isso significa maior liberdade para experimentar.

Neste artigo, vamos aprender o que o Llama 3 pode fazer, como ele surgiu e seu impacto no campo da IA. Vamos direto ao ponto!

Link to this sectionA evolução dos modelos Llama da Meta#

Antes de mergulharmos no Llama 3, vamos relembrar suas versões anteriores.

A Meta lançou o Llama 1 em fevereiro de 2023, que veio em quatro variantes com parâmetros variando de 7 bilhões a 65 bilhões. Em machine learning, "parâmetros" referem-se aos elementos do modelo que são aprendidos a partir dos dados de treinamento. Devido ao seu menor número de parâmetros, o Llama 1 às vezes tinha dificuldades com a compreensão de nuances e dava respostas inconsistentes.

Pouco depois do Llama 1, a Meta lançou o Llama 2 em julho de 2023. Ele foi treinado com 2 trilhões de tokens. Um token representa um pedaço de texto, como uma palavra ou parte de uma palavra, usado como a unidade básica de dados para processamento no modelo. O modelo também contou com melhorias como uma janela de contexto dobrada de 4096 tokens para entender passagens mais longas e mais de 1 milhão de anotações humanas para reduzir erros. Apesar dessas melhorias, o Llama 2 ainda precisava de muito poder computacional, algo que a Meta pretendia corrigir com o Llama 3.

Link to this sectionApresentando o Llama 3 da Meta#

O Llama 3 vem com quatro variantes que foram treinadas com impressionantes 15 trilhões de tokens. Mais de 5% desses dados de treinamento (cerca de 800 milhões de tokens) representavam dados em 30 idiomas diferentes. Todas as variantes do Llama 3 podem ser executadas em vários tipos de hardware de consumo e têm um comprimento de contexto de 8k tokens.

Fig 1. Llama 3 Vs Llama 2.

As variantes do modelo vêm em dois tamanhos: 8B e 70B, indicando 8 bilhões e 70 bilhões de parâmetros, respectivamente. Existem também duas versões, base e instruct. "Base" refere-se à versão padrão pré-treinada. "Instruct" é uma versão de ajuste fino otimizada para aplicações ou domínios específicos por meio de treinamento adicional em dados relevantes.

Estas são as variantes do modelo Llama 3:

• Meta-Llama-3-8b: O modelo base 8B fornece capacidades fundamentais de IA e é ideal para tarefas gerais, como o desenvolvimento de chatbots de atendimento ao cliente.
• Meta-Llama-3-8b-instruct: Uma versão de ajuste fino instruct do modelo 8B que é otimizada para tarefas específicas. Por exemplo, pode ser usada para criar ferramentas educacionais que explicam assuntos complexos.
• Meta-Llama-3-70b: O modelo base 70B foi projetado para aplicações de IA de alto desempenho. Este modelo funcionaria bem para aplicações como o processamento de literatura biomédica extensa para descoberta de fármacos.
• Meta-Llama-3-70b-instruct: Esta versão é ajustada a partir do modelo 70B para aplicações de alta precisão, como a análise de documentos legais ou médicos, onde a precisão é fundamental.

Link to this sectionArquitetura do modelo Llama 3 da Meta#

Assim como em outros avanços de IA da Meta, medidas rigorosas de controle de qualidade foram implementadas para manter a integridade dos dados e minimizar vieses durante o desenvolvimento do Llama 3. Portanto, o produto final é um modelo poderoso que foi criado de forma responsável.

A arquitetura do modelo Llama 3 destaca-se pelo seu foco na eficiência e no desempenho em tarefas de processamento de linguagem natural. Construída sobre uma estrutura baseada em Transformer, ela enfatiza a eficiência computacional, especialmente durante a geração de texto, usando uma arquitetura apenas de decodificador.

O modelo gera saídas baseadas apenas no contexto anterior sem um codificador para codificar entradas, tornando-o muito mais rápido.

Fig 2. Arquitetura do Modelo Responsável Llama 3.

Os modelos Llama 3 possuem um tokenizador com um vocabulário de 128K tokens. Um vocabulário maior significa que os modelos podem entender e processar melhor o texto. Além disso, os modelos agora usam grouped query attention (GQA) para melhorar a eficiência da inferência. GQA é uma técnica que você pode imaginar como um holofote que ajuda os modelos a se concentrarem nas partes relevantes dos dados de entrada para gerar respostas mais rápidas e precisas.

Aqui estão mais alguns detalhes interessantes sobre a arquitetura do modelo Llama 3:

• Processamento de Documentos com Consciência de Limites: O Llama 3 mantém a clareza através dos limites dos documentos, o que é fundamental para tarefas como sumarização.
• Melhor Compreensão de Código: Os dados de treinamento do Llama 3 incluem quatro vezes mais amostras de código, aumentando suas habilidades de codificação.
• Controle de Qualidade Robusto: Medidas rigorosas, incluindo filtros heurísticos e remoção de NSFW, garantem a integridade dos dados e minimizam vieses.

Link to this sectionO Llama 3 está transformando a forma como abordamos o treinamento de modelos#

Para treinar os maiores modelos Llama 3, três tipos de paralelização foram combinados: paralelização de dados, paralelização de modelo e paralelização de pipeline.

A paralelização de dados divide os dados de treinamento entre múltiplas GPUs, enquanto a paralelização de modelo particiona a arquitetura do modelo para usar o poder computacional de cada GPU. A paralelização de pipeline divide o processo de treinamento em estágios sequenciais, otimizando a computação e a comunicação.

A implementação mais eficiente alcançou uma utilização computacional notável, excedendo 400 TFLOPS por GPU quando treinada em 16.000 GPUs simultaneamente. Essas execuções de treinamento foram realizadas em dois clusters de GPU personalizados, cada um compreendendo 24.000 GPUs. Essa infraestrutura computacional substancial forneceu o poder necessário para treinar os modelos Llama 3 de larga escala de forma eficiente.

Para maximizar o tempo de atividade da GPU, uma nova pilha de treinamento avançada foi desenvolvida, automatizando a detecção de erros, manuseio e manutenção. A confiabilidade do hardware e os mecanismos de detecção foram bastante aprimorados para mitigar riscos de corrupção silenciosa de dados. Além disso, novos sistemas de armazenamento escaláveis foram desenvolvidos para reduzir as sobrecargas de checkpointing e rollback.

Essas melhorias levaram a um tempo de treinamento geral de mais de 95% de eficácia. Combinadas, elas aumentaram a eficiência do treinamento do Llama 3 em aproximadamente três vezes em comparação com o Llama 2. Essa eficiência não é apenas impressionante; ela está abrindo novas possibilidades para métodos de treinamento de IA.

Link to this sectionAbrindo portas com o Llama 3#

Como o Llama 3 é de código aberto, pesquisadores e estudantes podem estudar seu código, conduzir experimentos e participar de discussões sobre preocupações éticas e vieses. No entanto, o Llama 3 não é apenas para o público acadêmico. Ele também está fazendo sucesso em aplicações práticas. Ele está se tornando a espinha dorsal da Interface de Chat da Meta AI, integrando-se perfeitamente a plataformas como Facebook, Instagram, WhatsApp e Messenger. Com a Meta AI, os usuários podem participar de conversas em linguagem natural, acessar recomendações personalizadas, realizar tarefas e se conectar com outras pessoas facilmente.

Fig 3. Meta AI: Alimentado pelo Llama 3.

Link to this sectionComparando o Llama 3 com outros LLMs#

O Llama 3 tem um desempenho excepcionalmente bom em vários benchmarks importantes que avaliam a compreensão complexa da linguagem e habilidades de raciocínio. Aqui estão alguns dos benchmarks que testam vários aspectos das capacidades do Llama 3:

• Massive Multitask Language Understanding (MMLU) - Mede seu conhecimento em vários domínios.
• General Purpose Question Answering (GPQA) - Avalia a capacidade do modelo de gerar respostas coerentes e corretas para uma ampla gama de perguntas de conhecimento geral.
• HumanEval - Foca em tarefas de codificação e resolução de problemas, testando a capacidade do modelo de gerar código de programação funcional e resolver desafios algorítmicos.

Os resultados notáveis do Llama 3 nestes testes distinguem-no claramente de concorrentes como o Gemma 7B da Google, o Mistral 7B da Mistral e o Claude 3 Sonnet da Anthropic. De acordo com as estatísticas publicadas, particularmente o modelo 70B, o Llama 3 supera estes modelos em todos os benchmarks acima.

Fig 4. Comparando o Llama 3 com outros LLMs.

Link to this sectionO Llama 3 da Meta está sendo disponibilizado amplamente#

A Meta está expandindo o alcance do Llama 3, disponibilizando-o em várias plataformas para usuários comuns e desenvolvedores. Para os usuários do dia a dia, o Llama 3 está integrado nas plataformas populares da Meta, como WhatsApp, Instagram, Facebook e Messenger. Os usuários podem acessar recursos avançados como pesquisa em tempo real e a capacidade de gerar conteúdo criativo diretamente dentro desses aplicativos.

O Llama 3 também está sendo incorporado em tecnologias vestíveis como os óculos inteligentes Ray-Ban Meta e o headset de VR Meta Quest para experiências interativas.

O Llama 3 está disponível em uma variedade de plataformas para desenvolvedores, incluindo AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM e Snowflake. Você também pode acessar esses modelos diretamente da Meta. A ampla gama de opções torna fácil para os desenvolvedores integrarem essas capacidades avançadas de modelo de IA em seus projetos, quer prefiram trabalhar diretamente com a Meta ou através de outras plataformas populares.

Link to this sectionO resumo#

Os avanços de machine learning continuam a transformar a forma como interagimos com a tecnologia todos os dias. O Llama 3 da Meta mostra que os LLMs não servem apenas para gerar texto. Os LLMs estão resolvendo problemas complexos e lidando com vários idiomas. No geral, o Llama 3 está tornando a IA mais adaptável e acessível do que nunca. Olhando para o futuro, as atualizações planejadas para o Llama 3 prometem ainda mais capacidades, como lidar com vários modelos e entender contextos maiores.

Confira nosso repositório GitHub e junte-se à nossa comunidade para aprender mais sobre IA. Visite nossas páginas de soluções para ver como a IA está sendo aplicada em áreas como manufatura e agricultura.