Conhecer o Llama 3 da Meta

Quando reunimos as inovações de inteligência artificial (AI) do primeiro trimestre de 2024, vimos que LLMs, ou modelos de linguagem de grande escala, estavam a ser lançados a todo o momento por diferentes organizações. Dando continuidade a esta tendência, em 18 de abril de 2024, a Meta lançou o Llama 3, um LLM de código aberto de última geração.

Podes estar a pensar: É apenas mais um LLM. Porque é que a comunidade de AI está tão entusiasmada com ele?

Embora possas ajustar modelos como o GPT-3 ou o Gemini para obter respostas personalizadas, eles não oferecem transparência total relativamente ao seu funcionamento interno, como os dados de treino, os parâmetros do modelo ou os algoritmos. Em contrapartida, o Llama 3 da Meta é mais transparente, com a sua arquitetura e os seus pesos disponíveis para transferência. Para a comunidade de AI, isto significa maior liberdade para experimentar.

Neste artigo, vamos descobrir o que o Llama 3 pode fazer, como surgiu e qual foi o seu impacto no campo da AI. Vamos começar!

A evolução dos modelos Llama da Meta#

Antes de analisarmos o Llama 3, vamos recapitular as versões anteriores.

A Meta lançou o Llama 1 em fevereiro de 2023, com quatro variantes cujos parâmetros variavam entre 7 mil milhões e 65 mil milhões. Em machine learning, "parâmetros" referem-se aos elementos do modelo aprendidos a partir dos dados de treino. Devido ao menor número de parâmetros, o Llama 1 tinha por vezes dificuldades com a compreensão de nuances e dava respostas inconsistentes.

Pouco depois do Llama 1, a Meta lançou o Llama 2 em julho de 2023. O modelo foi treinado com 2 biliões de tokens. Um token representa uma parte de texto, como uma palavra ou parte de uma palavra, utilizada como unidade básica de dados para processamento no modelo. O modelo também incluía melhorias como uma janela de contexto duplicada, com 4096 tokens, para compreender passagens mais longas, e mais de 1 milhão de anotações humanas para reduzir os erros. Apesar destas melhorias, o Llama 2 ainda precisava de muito poder computacional, algo que a Meta pretendia resolver com o Llama 3.

Apresentamos o Llama 3 da Meta#

O Llama 3 inclui quatro variantes treinadas com uns impressionantes 15 biliões de tokens. Mais de 5% desses dados de treino (cerca de 800 milhões de tokens) correspondiam a dados em 30 idiomas diferentes. Todas as variantes do Llama 3 podem ser executadas em vários tipos de hardware de consumo e têm um comprimento de contexto de 8k tokens.

Fig. 1. Llama 3 vs. Llama 2.

As variantes do modelo estão disponíveis em dois tamanhos: 8B e 70B, que indicam, respetivamente, 8 mil milhões e 70 mil milhões de parâmetros. Existem também duas versões: base e instruct. "Base" refere-se à versão pré-treinada padrão. "Instruct" é uma versão ajustada para aplicações ou domínios específicos através de treino adicional com dados relevantes.

Estas são as variantes do modelo Llama 3:

• Meta-Llama-3-8b: O modelo base 8B fornece capacidades fundamentais de AI e é ideal para tarefas gerais, como desenvolver chatbots de atendimento ao cliente.
• Meta-Llama-3-8b-instruct: Uma versão instruct do modelo 8B ajustada para tarefas específicas. Por exemplo, pode ser utilizada para criar ferramentas educativas que expliquem assuntos complexos.
• Meta-Llama-3-70b: O modelo base 70B foi concebido para aplicações de AI de alto desempenho. Este modelo seria adequado para aplicações como o processamento de literatura biomédica extensa para a descoberta de medicamentos.
• Meta-Llama-3-70b-instruct: Esta versão foi ajustada a partir do modelo 70B para aplicações de elevada precisão, como a análise de documentos jurídicos ou médicos, nas quais a exatidão é fundamental.

Arquitetura do modelo Llama 3 da Meta#

Tal como acontece com outros avanços de AI da Meta, foram implementadas medidas rigorosas de controlo de qualidade para manter a integridade dos dados e minimizar enviesamentos durante o desenvolvimento do Llama 3. Assim, o produto final é um modelo poderoso criado de forma responsável.

A arquitetura do modelo Llama 3 destaca-se pelo foco na eficiência e no desempenho em tarefas de processamento de linguagem natural. Construída com base numa estrutura baseada em Transformer, dá prioridade à eficiência computacional, especialmente durante a geração de texto, através da utilização de uma arquitetura apenas com descodificador.

O modelo gera resultados baseando-se exclusivamente no contexto anterior, sem um codificador para codificar as entradas, o que o torna muito mais rápido.

Fig. 2. Arquitetura responsável do modelo Llama 3.

Os modelos Llama 3 incluem um tokenizador com um vocabulário de 128K tokens. Um vocabulário maior permite que os modelos compreendam e processem melhor o texto. Além disso, os modelos utilizam agora atenção de consulta agrupada (GQA) para melhorar a eficiência da inferência. A GQA é uma técnica que podes imaginar como um foco de luz que ajuda os modelos a concentrarem-se nas partes relevantes dos dados de entrada para gerar respostas mais rápidas e precisas.

Eis alguns detalhes mais interessantes sobre a arquitetura do modelo Llama 3:

• Processamento de documentos com consciência dos limites: O Llama 3 mantém a clareza entre os limites dos documentos, o que é fundamental para tarefas como a sumarização.
• Melhor compreensão de código: Os dados de treino do Llama 3 incluem quatro vezes mais exemplos de código, o que reforça as suas capacidades de programação.
• Controlo de qualidade robusto: Medidas rigorosas, incluindo filtros heurísticos e a remoção de NSFW, garantem a integridade dos dados e minimizam enviesamentos.

O Llama 3 está a transformar a forma como abordamos o treino de modelos#

Para treinar os maiores modelos Llama 3, foram combinados três tipos de paralelização: paralelização de dados, paralelização de modelos e paralelização de pipeline.

A paralelização de dados divide os dados de treino por várias GPUs, enquanto a paralelização de modelos particiona a arquitetura do modelo para utilizar o poder computacional de cada GPU. A paralelização de pipeline divide o processo de treino em etapas sequenciais, otimizando a computação e a comunicação.

A implementação mais eficiente alcançou uma utilização computacional impressionante, superior a 400 TFLOPS por GPU, quando treinada simultaneamente em 16 000 GPUs. Estas execuções de treino foram realizadas em dois clusters de GPUs construídos à medida, cada um composto por 24 000 GPUs. Esta infraestrutura computacional substancial forneceu o poder necessário para treinar eficientemente os modelos Llama 3 de grande escala.

Para maximizar o tempo de atividade das GPUs, foi desenvolvida uma nova stack de treino avançada que automatiza a deteção, o tratamento e a manutenção de erros. A fiabilidade do hardware e os mecanismos de deteção foram significativamente melhorados para reduzir os riscos de corrupção silenciosa de dados. Além disso, foram desenvolvidos novos sistemas de armazenamento escaláveis para reduzir os custos indiretos de criação de checkpoints e reversão.

Estas melhorias resultaram numa eficácia global do tempo de treino superior a 95%. Em conjunto, aumentaram a eficiência do treino do Llama 3 aproximadamente três vezes em comparação com o Llama 2. Esta eficiência não é apenas impressionante; está a abrir novas possibilidades para os métodos de treino de AI.

A abrir portas com o Llama 3#

Como o Llama 3 é de código aberto, investigadores e estudantes podem estudar o seu código, realizar experiências e participar em discussões sobre questões éticas e enviesamentos. No entanto, o Llama 3 não se destina apenas ao meio académico. Também está a causar impacto em aplicações práticas. Está a tornar-se a base da interface de chat Meta AI, integrando-se perfeitamente em plataformas como o Facebook, o Instagram, o WhatsApp e o Messenger. Com a Meta AI, os utilizadores podem participar em conversas em linguagem natural, aceder a recomendações personalizadas, executar tarefas e estabelecer ligações com outras pessoas facilmente.

Fig. 3. Meta AI: com tecnologia Llama 3.

Comparação do Llama 3 com outros LLMs#

O Llama 3 apresenta um desempenho excecional em vários benchmarks importantes que avaliam capacidades complexas de compreensão e raciocínio linguístico. Eis alguns dos benchmarks que testam diferentes aspetos das capacidades do Llama 3:

• Compreensão de linguagem multitarefa em grande escala (MMLU) - Mede os seus conhecimentos em vários domínios.
• Resposta a perguntas de uso geral (GPQA) - Avalia a capacidade do modelo para gerar respostas coerentes e corretas a uma vasta gama de perguntas de conhecimento geral.
• HumanEval - Incide em tarefas de programação e resolução de problemas, testando a capacidade do modelo para gerar código de programação funcional e resolver desafios algorítmicos.

Os resultados excecionais do Llama 3 nestes testes distinguem-no claramente de concorrentes como o Gemma 7B da Google, o Mistral 7B da Mistral e o Claude 3 Sonnet da Anthropic. De acordo com as estatísticas publicadas, especialmente no caso do modelo 70B, o Llama 3 supera estes modelos em todos os benchmarks acima mencionados.

Fig. 4. Comparação do Llama 3 com outros LLMs.

O Meta Llama 3 está a tornar-se amplamente acessível#

A Meta está a expandir o alcance do Llama 3, disponibilizando-o numa variedade de plataformas para utilizadores gerais e programadores. Para os utilizadores do dia a dia, o Llama 3 está integrado em plataformas populares da Meta, como o WhatsApp, o Instagram, o Facebook e o Messenger. Os utilizadores podem aceder a funcionalidades avançadas, como pesquisa em tempo real e a capacidade de gerar conteúdo criativo diretamente nestas aplicações.

O Llama 3 também está a ser incorporado em tecnologias vestíveis, como os óculos inteligentes Ray-Ban Meta e o headset de realidade virtual Meta Quest, para proporcionar experiências interativas.

O Llama 3 está disponível numa variedade de plataformas para programadores, incluindo AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM e Snowflake. Também podes aceder a estes modelos diretamente a partir da Meta. A grande variedade de opções facilita a integração das capacidades avançadas destes modelos de AI nos projetos dos programadores, quer prefiram trabalhar diretamente com a Meta, quer através de outras plataformas populares.

Conclusão#

Os avanços em machine learning continuam a transformar a forma como interagimos com a tecnologia todos os dias. O Llama 3 da Meta mostra que os LLMs já não se limitam a gerar texto. Os LLMs estão a resolver problemas complexos e a lidar com vários idiomas. De modo geral, o Llama 3 está a tornar a AI mais adaptável e acessível do que nunca. Olhando para o futuro, as atualizações planeadas para o Llama 3 prometem ainda mais capacidades, como lidar com vários modelos e compreender contextos maiores.

Consulta o nosso repositório no GitHub e junta-te à nossa comunidade para saberes mais sobre AI. Visita as nossas páginas de soluções para veres como a AI está a ser aplicada em áreas como a indústria e a agricultura.