Découvrir Llama 3 de Meta

Lorsque nous avons récapitulé les innovations en matière d’intelligence artificielle (AI) du premier trimestre 2024, nous avons constaté que des LLMs, ou grands modèles de langage, étaient lancés à tour de rôle par différentes organisations. Poursuivant cette tendance, Meta a lancé le Llama 3 le 18 avril 2024, un LLM open source de pointe de nouvelle génération.

Tu te dis peut-être : Ce n’est qu’un LLM de plus. Pourquoi la communauté de l’AI est-elle tellement enthousiaste à son sujet ?

Même si tu peux affiner des modèles comme GPT-3 ou Gemini pour obtenir des réponses personnalisées, ils n’offrent pas une transparence totale sur leur fonctionnement interne, notamment leurs données d’entraînement, leurs paramètres de modèle ou leurs algorithmes. En revanche, le Llama 3 de Meta est plus transparent, car son architecture et ses poids sont disponibles au téléchargement. Pour la communauté de l’AI, cela signifie une plus grande liberté d’expérimentation.

Dans cet article, nous allons découvrir ce que Llama 3 peut faire, comment il a été créé et quel a été son impact sur le domaine de l’AI. Entrons directement dans le vif du sujet !

L’évolution des modèles Llama de Meta#

Avant d’examiner Llama 3, revenons sur ses versions précédentes.

Meta a lancé Llama 1 en février 2023, décliné en quatre variantes comptant entre 7 et 65 milliards de paramètres. En apprentissage automatique, les « paramètres » désignent les éléments du modèle appris à partir des données d’entraînement. En raison de son nombre réduit de paramètres, Llama 1 avait parfois du mal à comprendre les nuances et fournissait des réponses incohérentes.

Peu après Llama 1, Meta a lancé Llama 2 en juillet 2023. Il a été entraîné sur 2 000 milliards de tokens. Un token représente un fragment de texte, comme un mot ou une partie de mot, utilisé comme unité de données de base pour le traitement par le modèle. Le modèle comportait également des améliorations, comme une fenêtre de contexte doublée à 4 096 tokens pour comprendre des passages plus longs, ainsi que plus d’un million d’annotations humaines pour réduire les erreurs. Malgré ces améliorations, Llama 2 nécessitait encore une grande puissance de calcul, un problème que Meta entendait résoudre avec Llama 3.

Présentation du Llama 3 de Meta#

Llama 3 se décline en quatre variantes entraînées sur un nombre impressionnant de 15 000 milliards de tokens. Plus de 5 % de ces données d’entraînement, soit environ 800 millions de tokens, correspondaient à des données dans 30 langues différentes. Toutes les variantes de Llama 3 peuvent fonctionner sur différents types de matériel grand public et disposent d’une longueur de contexte de 8 000 tokens.

Fig. 1. Llama 3 par rapport à Llama 2.

Les variantes du modèle existent en deux tailles : 8B et 70B, indiquant respectivement 8 et 70 milliards de paramètres. Il existe également deux versions : base et instruct. « Base » désigne la version préentraînée standard. « Instruct » est une version affinée et optimisée pour des applications ou domaines spécifiques grâce à un entraînement supplémentaire sur des données pertinentes.

Voici les variantes du modèle Llama 3 :

• Meta-Llama-3-8b : le modèle base 8B fournit des capacités fondamentales d’AI et convient idéalement aux tâches générales, comme le développement de chatbots de service client.
• Meta-Llama-3-8b-instruct : une version instruct affinée du modèle 8B, optimisée pour des tâches spécifiques. Elle peut par exemple servir à créer des outils pédagogiques qui expliquent des sujets complexes.
• Meta-Llama-3-70b : le modèle base 70B est conçu pour les applications d’AI hautes performances. Il conviendrait bien à des applications comme le traitement d’une vaste littérature biomédicale pour la découverte de médicaments.
• Meta-Llama-3-70b-instruct : cette version est affinée à partir du modèle 70B pour des applications exigeant une grande précision, comme l’analyse de documents juridiques ou médicaux, où l’exactitude est essentielle.

L’architecture du modèle Llama 3 de Meta#

Comme pour toutes les avancées de Meta AI, des mesures rigoureuses de contrôle qualité ont été mises en place pour préserver l’intégrité des données et limiter les biais lors du développement de Llama 3. Le produit final est donc un modèle puissant créé de manière responsable.

L’architecture du modèle Llama 3 se distingue par l’importance accordée à l’efficacité et aux performances dans les tâches de traitement du langage naturel. Fondée sur une architecture de type Transformer, elle privilégie l’efficacité computationnelle, notamment lors de la génération de texte, grâce à une architecture uniquement composée d’un décodeur.

Le modèle génère ses sorties uniquement à partir du contexte précédent, sans encodeur pour encoder les entrées, ce qui le rend beaucoup plus rapide.

Fig. 2. Architecture responsable du modèle Llama 3.

Les modèles Llama 3 utilisent un tokenizer doté d’un vocabulaire de 128K tokens. Un vocabulaire plus vaste permet aux modèles de mieux comprendre et traiter le texte. Les modèles utilisent également désormais l’attention par requêtes groupées (GQA) pour améliorer l’efficacité de l’inférence. La GQA est une technique que tu peux assimiler à un projecteur aidant les modèles à se concentrer sur les parties pertinentes des données d’entrée afin de générer des réponses plus rapides et plus précises.

Voici quelques autres détails intéressants sur l’architecture du modèle Llama 3 :

• Traitement des documents sensible aux limites : Llama 3 préserve la clarté entre les limites des documents, ce qui est essentiel pour des tâches comme le résumé.
• Meilleure compréhension du code : les données d’entraînement de Llama 3 comprennent quatre fois plus d’exemples de code, ce qui renforce ses capacités de programmation.
• Contrôle qualité robuste : des mesures rigoureuses, notamment des filtres heuristiques et la suppression des contenus NSFW, garantissent l’intégrité des données et limitent les biais.

Llama 3 transforme notre approche de l’entraînement des modèles#

Pour entraîner les plus grands modèles Llama 3, trois types de parallélisation ont été combinés : la parallélisation des données, la parallélisation du modèle et la parallélisation du pipeline.

La parallélisation des données répartit les données d’entraînement entre plusieurs GPU, tandis que la parallélisation du modèle partitionne l’architecture du modèle afin d’exploiter la puissance de calcul de chaque GPU. La parallélisation du pipeline divise le processus d’entraînement en étapes séquentielles, optimisant ainsi le calcul et les communications.

L’implémentation la plus efficace a atteint une utilisation remarquable des ressources de calcul, dépassant 400 TFLOPS par GPU lors d’un entraînement simultané sur 16 000 GPU. Ces entraînements ont été réalisés sur deux clusters de GPU construits sur mesure, chacun comprenant 24 000 GPU. Cette importante infrastructure de calcul a fourni la puissance nécessaire pour entraîner efficacement les modèles Llama 3 à grande échelle.

Afin de maximiser la disponibilité des GPU, une nouvelle pile d’entraînement avancée a été développée pour automatiser la détection et la gestion des erreurs ainsi que la maintenance. La fiabilité du matériel et les mécanismes de détection ont été considérablement améliorés afin d’atténuer les risques de corruption silencieuse des données. De nouveaux systèmes de stockage évolutifs ont également été développés pour réduire les frais généraux liés à la création de points de contrôle et aux restaurations.

Ces améliorations ont permis d’atteindre une efficacité globale de l’entraînement supérieure à 95 %. Ensemble, elles ont multiplié environ par trois l’efficacité de l’entraînement de Llama 3 par rapport à Llama 2. Cette efficacité n’est pas seulement impressionnante ; elle ouvre de nouvelles possibilités pour les méthodes d’entraînement de l’AI.

De nouvelles possibilités avec Llama 3#

Comme Llama 3 est open source, les chercheurs et les étudiants peuvent étudier son code, mener des expériences et participer à des discussions sur les questions éthiques et les biais. Cependant, Llama 3 ne s’adresse pas uniquement au milieu universitaire. Il se fait également une place dans les applications pratiques. Il devient l’épine dorsale de l’interface de chat Meta AI, qui s’intègre parfaitement à des plateformes comme Facebook, Instagram, WhatsApp et Messenger. Avec Meta AI, les utilisateurs peuvent converser en langage naturel, accéder à des recommandations personnalisées, effectuer des tâches et entrer facilement en contact avec d’autres personnes.

Fig. 3. Meta AI : propulsé par Llama 3.

Comparaison de Llama 3 avec d’autres LLMs#

Llama 3 obtient d’excellents résultats sur plusieurs benchmarks clés qui évaluent la compréhension complexe du langage et les capacités de raisonnement. Voici quelques benchmarks qui testent différents aspects des capacités de Llama 3 :

• Compréhension massive du langage multitâche (MMLU) : mesure ses connaissances dans différents domaines.
• Questions-réponses à usage général (GPQA) : évalue la capacité du modèle à générer des réponses cohérentes et correctes à un large éventail de questions de culture générale.
• HumanEval : se concentre sur les tâches de programmation et de résolution de problèmes, en testant la capacité du modèle à générer du code de programmation fonctionnel et à résoudre des problèmes algorithmiques.

Les résultats remarquables de Llama 3 à ces tests le distinguent clairement de concurrents tels que Gemma 7B de Google, Mistral 7B de Mistral et Claude 3 Sonnet d’Anthropic. Selon les statistiques publiées, le modèle 70B en particulier surpasse ces modèles dans tous les benchmarks mentionnés ci-dessus.

Fig. 4. Comparaison de Llama 3 avec d’autres LLMs.

Meta Llama 3 devient largement accessible#

Meta étend la portée de Llama 3 en le rendant disponible sur diverses plateformes pour les utilisateurs grand public comme pour les développeurs. Pour les utilisateurs quotidiens, Llama 3 est intégré aux plateformes populaires de Meta, comme WhatsApp, Instagram, Facebook et Messenger. Les utilisateurs peuvent accéder à des fonctionnalités avancées, comme la recherche en temps réel et la génération de contenu créatif, directement dans ces applications.

Llama 3 est également intégré à des technologies portables comme les lunettes connectées Ray-Ban Meta et le casque VR Meta Quest pour des expériences interactives.

Llama 3 est disponible sur diverses plateformes pour les développeurs, notamment AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM et Snowflake. Tu peux également accéder directement à ces modèles depuis Meta. Cette large gamme d’options permet aux développeurs d’intégrer facilement les capacités avancées de ces modèles d’AI à leurs projets, qu’ils préfèrent travailler directement avec Meta ou par l’intermédiaire d’autres plateformes populaires.

À retenir#

Les avancées de l’apprentissage automatique continuent de transformer notre façon d’interagir avec la technologie au quotidien. Le Llama 3 de Meta montre que les LLMs ne servent plus uniquement à générer du texte. Les LLMs s’attaquent à des problèmes complexes et traitent plusieurs langues. Globalement, Llama 3 rend l’AI plus adaptable et accessible que jamais. À l’avenir, les mises à niveau prévues pour Llama 3 promettent encore davantage de capacités, comme la gestion de plusieurs modèles et la compréhension de contextes plus vastes.

Consulte notre dépôt GitHub et rejoins notre communauté pour en savoir plus sur l’AI. Consulte nos pages de solutions pour découvrir comment l’AI est appliquée dans des domaines comme la fabrication et l’agriculture.