Conhecer o Llama 3.1: a mais recente família de modelos de código aberto da Meta

Em 23 de julho de 2024, a Meta lançou a nova família de modelos de código aberto Llama 3.1, composta pelos modelos versáteis 8B, o 70B de alto desempenho e o Llama 3.1 405B, com este último destacando-se como o maior modelo de linguagem de grande escala (LLM) de código aberto até à data.

Podes estar a perguntar-te o que distingue estes novos modelos dos seus antecessores. Bem, à medida que avançamos neste artigo, vais descobrir que o lançamento dos modelos Llama 3.1 representa um marco significativo na tecnologia de IA. Os modelos recém-lançados oferecem melhorias importantes no processamento de linguagem natural; além disso, introduzem novas funcionalidades e melhorias que não estavam presentes nas versões anteriores. Este lançamento promete mudar a forma como utilizamos a IA para tarefas complexas, fornecendo um conjunto de ferramentas poderoso tanto para investigadores como para programadores.

Neste artigo, vamos explorar a família de modelos Llama 3.1, analisando a sua arquitetura, as principais melhorias, as utilizações práticas e uma comparação detalhada do seu desempenho.

O que é o Llama 3.1?#

O mais recente modelo de linguagem de grande escala da Meta, o Llama 3.1, está a fazer avanços significativos no panorama da IA, rivalizando com as capacidades de modelos de topo como o Chat GPT-4o da OpenAI e o Claude 3.5 Sonnet da Anthropic.

Embora possa ser considerado uma atualização menor em relação ao modelo Llama 3 anterior, a Meta levou a nova família de modelos mais longe ao introduzir algumas melhorias importantes, oferecendo:

• Suporte para oito idiomas: incluindo inglês, alemão, francês, italiano, português, hindi, espanhol e tailandês, ampliando o seu alcance para um público global.
• Janela de contexto de 128 000 tokens: permitindo que os modelos processem entradas muito mais longas e mantenham o contexto ao longo de conversas ou documentos extensos.
• Melhores capacidades de raciocínio: permitindo que os modelos sejam mais versáteis e capazes de gerir tarefas complexas de forma eficaz.
• Segurança rigorosa: foram implementados testes para mitigar riscos, reduzir preconceitos e impedir resultados prejudiciais, promovendo uma utilização responsável da IA.

Além de tudo isto, a nova família de modelos Llama 3.1 destaca-se por um importante avanço com o seu impressionante modelo de 405 mil milhões de parâmetros. Esta quantidade substancial de parâmetros representa um salto significativo no desenvolvimento da IA, melhorando consideravelmente a capacidade do modelo para compreender e gerar texto complexo. O modelo 405B inclui um vasto conjunto de parâmetros, sendo cada parâmetro referente aos pesos e preconceitos da rede neural que o modelo aprende durante o treino. Isto permite ao modelo captar padrões linguísticos mais complexos, estabelecendo um novo padrão para os modelos de linguagem de grande escala e demonstrando o potencial futuro da tecnologia de IA. Este modelo de grande escala não só melhora o desempenho numa vasta gama de tarefas, como também amplia os limites do que a IA pode alcançar em termos de geração e compreensão de texto.

Arquitetura do modelo#

O Llama 3.1 utiliza a arquitetura de modelo transformer apenas com descodificador, um elemento fundamental dos modelos de linguagem de grande escala modernos. Esta arquitetura é conhecida pela sua eficiência e eficácia no tratamento de tarefas linguísticas complexas. A utilização de transformers permite ao Llama 3.1 destacar-se na compreensão e geração de texto semelhante ao humano, proporcionando uma vantagem significativa face a modelos que utilizam arquiteturas mais antigas, como LSTMs e GRUs.

Além disso, a família de modelos Llama 3.1 utiliza um transformer denso padrão em vez da arquitetura de Mistura de Especialistas (MoE), uma escolha deliberada que melhora a eficiência e a estabilidade do treino. Evitar a arquitetura MoE garante um processo de treino mais consistente e fiável, uma vez que a MoE pode, por vezes, introduzir complexidades que podem afetar a estabilidade e o desempenho do modelo.

Fig. 1. Um diagrama que ilustra a arquitetura do modelo transformer Llama 3.1.

A arquitetura do modelo Llama 3.1 funciona da seguinte forma:

1. Tokens de texto de entrada: o processo começa com a entrada, composta por tokens de texto. Estes tokens são unidades individuais de texto, como palavras ou subpalavras, que o modelo irá processar.

2. Embeddings dos tokens: os tokens de texto são então convertidos em embeddings de tokens. Os embeddings são representações vetoriais densas dos tokens que captam o seu significado semântico e as relações existentes no texto. Esta transformação é essencial, pois permite ao modelo trabalhar com dados numéricos.

3. Mecanismo de autoatenção: a autoatenção permite ao modelo ponderar a importância de diferentes tokens na sequência de entrada ao codificar cada token. Este mecanismo ajuda o modelo a compreender o contexto e as relações entre os tokens, independentemente das suas posições na sequência. No mecanismo de autoatenção, cada token da sequência de entrada é representado como um vetor de números. Estes vetores são utilizados para criar três tipos diferentes de representações: consultas, chaves e valores.

O modelo calcula quanta atenção cada token deve atribuir aos outros tokens comparando os vetores de consulta com os vetores de chave. Esta comparação produz pontuações que indicam a relevância de cada token em relação aos restantes.

4. Rede feedforward: após o processo de autoatenção, os dados passam por uma rede feedforward. Esta rede é uma rede neural totalmente conectada que aplica transformações não lineares aos dados, ajudando o modelo a reconhecer e aprender padrões complexos.

5. Camadas repetidas: as camadas de autoatenção e da rede feedforward são empilhadas várias vezes. Esta aplicação repetida permite ao modelo captar dependências e padrões mais complexos nos dados.

6. Token de texto de saída: por fim, os dados processados são utilizados para gerar o token de texto de saída. Este token é a previsão do modelo para a palavra ou subpalavra seguinte na sequência, com base no contexto de entrada.

Desempenho da família de modelos Llama 3.1 e comparações com outros modelos#

Os testes de benchmark revelam que o Llama 3.1 não só se compara favoravelmente com estes modelos de última geração, como também os supera em determinadas tarefas, demonstrando o seu desempenho superior.

Llama 3.1 405B: elevada capacidade#

O modelo Llama 3.1 foi submetido a uma avaliação extensa em mais de 150 conjuntos de dados de benchmark, nos quais foi rigorosamente comparado com outros modelos de linguagem de grande escala líderes. O modelo Llama 3.1 405B, reconhecido como o mais capaz da série recém-lançada, foi comparado com gigantes do setor, como o GPT-4 da OpenAI e o Claude 3.5 Sonnet. Os resultados destas comparações revelam que o Llama 3.1 apresenta uma vantagem competitiva, demonstrando o seu desempenho e as suas capacidades superiores em várias tarefas.

Fig. 2. Uma tabela que compara o desempenho do modelo Llama 3.1 405B com modelos semelhantes.

A impressionante quantidade de parâmetros e a arquitetura avançada deste modelo permitem-lhe destacar-se na compreensão complexa e na geração de texto, superando frequentemente os seus concorrentes em benchmarks específicos. Estas avaliações destacam o potencial do Llama 3.1 para estabelecer novos padrões no campo dos modelos de linguagem de grande escala, proporcionando aos investigadores e programadores uma ferramenta poderosa para diversas aplicações.

Llama 3.1 70B: gama média#

Os modelos Llama mais pequenos e leves também demonstram um desempenho notável quando comparados com os seus equivalentes. O modelo Llama 3.1 70B foi avaliado em relação a modelos maiores, como o Mistral 8x22B e o GPT-3.5 Turbo. Por exemplo, o modelo Llama 3.1 70B demonstra consistentemente um desempenho superior em conjuntos de dados de raciocínio, como o conjunto de dados ARC Challenge, e em conjuntos de dados de programação, como os conjuntos de dados HumanEval. Estes resultados destacam a versatilidade e a robustez da série Llama 3.1 em diferentes tamanhos de modelos, tornando-a uma ferramenta valiosa para uma vasta gama de aplicações.

Llama 3.1 8B: leve#

Além disso, o modelo Llama 3.1 8B foi comparado com modelos de tamanho semelhante, incluindo o Gemma 2 9B e o Mistral 7B. Estas comparações revelam que o modelo Llama 3.1 8B supera os seus concorrentes em vários conjuntos de dados de benchmark, em diferentes áreas, como o conjunto de dados GPQA para raciocínio e o MBPP EvalPlus para programação, demonstrando a sua eficiência e capacidade apesar da menor quantidade de parâmetros.

Fig. 3. Uma tabela que compara o desempenho dos modelos Llama 3.1 70B e 8B com modelos semelhantes.

Como podes beneficiar dos modelos da família Llama 3.1?#

A Meta permitiu que os novos modelos fossem aplicados de várias formas práticas e benéficas para os utilizadores:

Ajuste fino#

Agora, os utilizadores podem ajustar os modelos Llama 3.1 mais recentes para casos de utilização específicos. Este processo envolve treinar o modelo com novos dados externos aos quais não tinha sido anteriormente exposto, melhorando assim o seu desempenho e a sua adaptabilidade para aplicações direcionadas. O ajuste fino proporciona ao modelo uma vantagem significativa, permitindo-lhe compreender e gerar melhor conteúdos relevantes para domínios ou tarefas específicos.

Integração num sistema RAG#

Os modelos Llama 3.1 podem agora ser integrados de forma simples em sistemas de Geração Aumentada por Recuperação (RAG). Esta integração permite ao modelo utilizar dinamicamente fontes de dados externas, melhorando a sua capacidade de fornecer respostas precisas e relevantes no contexto. Ao recuperar informações de grandes conjuntos de dados e incorporá-las no processo de geração, o Llama 3.1 melhora significativamente o seu desempenho em tarefas que exigem muitos conhecimentos, oferecendo aos utilizadores resultados mais precisos e informados.

Geração de dados sintéticos#

Também podes utilizar o modelo de 405 mil milhões de parâmetros para gerar dados sintéticos de alta qualidade, melhorando o desempenho de modelos especializados para casos de utilização específicos. Esta abordagem aproveita as extensas capacidades do Llama 3.1 para produzir dados direcionados e relevantes, melhorando assim a precisão e a eficiência de aplicações de IA personalizadas.

Conclusões principais#

O lançamento do Llama 3.1 representa um avanço significativo no campo dos modelos de linguagem de grande escala, demonstrando o compromisso da Meta com o progresso da tecnologia de IA.

Com a sua elevada quantidade de parâmetros, o treino extensivo em conjuntos de dados diversificados e o foco em processos de treino robustos e estáveis, o Llama 3.1 estabelece novos benchmarks de desempenho e capacidade no processamento de linguagem natural. Seja na geração de texto, no resumo ou em tarefas conversacionais complexas, o Llama 3.1 demonstra uma vantagem competitiva sobre outros modelos líderes. Este modelo não só amplia os limites do que a IA pode alcançar atualmente, como também prepara o caminho para futuras inovações no panorama em constante evolução da inteligência artificial.

Na Ultralytics, dedicamo-nos a ampliar os limites da tecnologia de IA. Para explorares as nossas soluções de IA de ponta e acompanhares as nossas mais recentes inovações, consulta o nosso repositório do GitHub. Junta-te à nossa comunidade ativa no Discord e descobre como estamos a revolucionar setores como os carros autónomos e a indústria transformadora! 🚀