Faire connaissance avec le lama de Meta 3

L'évolution des modèles de lamas de Meta

Avant de nous plonger dans Llama 3, revenons sur ses versions antérieures.

Meta a lancé Llama 1 en février 2023, qui se décline en quatre variantes avec des paramètres allant de 7 milliards à 64 milliards. Dans le domaine de l'apprentissage automatique, les "paramètres" désignent les éléments du modèle qui sont appris à partir des données d'apprentissage. En raison de son nombre réduit de paramètres, Llama 1 avait parfois du mal à comprendre les nuances et donnait des réponses incohérentes.

Peu après Llama 1, Meta a lancé Llama 2 en juillet 2023. Il a été entraîné sur 2 billions de jetons. Un jeton représente un morceau de texte, comme un mot ou une partie de mot, utilisé comme unité de données de base pour le traitement dans le modèle. Le modèle comportait également des améliorations telles qu'une fenêtre contextuelle doublée de 4096 tokens pour comprendre les passages plus longs et plus d'un million d'annotations humaines pour réduire les erreurs. Malgré ces améliorations, Llama 2 nécessitait encore beaucoup de puissance de calcul, ce que Meta s'est efforcé de corriger avec Llama 3.

Présentation du lama de Meta 3

Le Llama 3 est proposé avec quatre variantes qui ont été entraînées à partir d'un nombre impressionnant de 15 billions de jetons. Plus de 5 % de ces données d'entraînement (environ 800 millions de tokens) représentaient des données dans 30 langues différentes. Toutes les variantes de Llama 3 peuvent être exécutées sur différents types de matériel informatique grand public et ont une longueur de contexte de 8k tokens. 

Les variantes du modèle existent en deux tailles : 8B et 70B, indiquant respectivement 8 milliards et 70 milliards de paramètres. Il existe également deux versions, base et instruire. "Base" fait référence à la version standard pré-entraînée. "Instruct" est une version affinée, optimisée pour des applications ou des domaines spécifiques grâce à un entraînement supplémentaire sur des données pertinentes.

Il s'agit des variantes du modèle Llama 3 :

• Meta-Llama-3-8b: Le modèle de base 8B offre des capacités d'IA fondamentales et est idéal pour des tâches générales telles que le développement de chatbots pour le service client.
  ‍
• Meta-Llama-3-8b-instruct: Une version affinée du modèle 8B qui est optimisée pour des tâches spécifiques. Par exemple, il peut être utilisé pour créer des outils éducatifs qui expliquent des sujets complexes.
  ‍
• Meta-Llama-3-70b: Le modèle de base 70B est conçu pour des applications d'intelligence artificielle très performantes. Ce modèle conviendrait parfaitement à des applications telles que le traitement d'une vaste littérature biomédicale pour la découverte de médicaments.
  ‍
• Meta-Llama-3-70b-instruct: Cette version est affinée à partir du modèle 70B pour des applications très précises, telles que l'analyse de documents juridiques ou médicaux, où la précision est essentielle.

Architecture du modèle Llama 3 de Meta

Comme pour toutes les autres avancées de Meta AI, des mesures rigoureuses de contrôle de la qualité ont été mises en place pour maintenir l'intégrité des données et minimiser les biais lors du développement de Llama 3. Le produit final est donc un modèle puissant créé de manière responsable. 

L'architecture du modèle Llama 3 se distingue par l'importance qu'elle accorde à l'efficacité et à la performance dans les tâches de traitement du langage naturel. Construit sur un cadre basé sur un transformateur, il met l'accent sur l'efficacité des calculs, en particulier lors de la génération de texte, en utilisant une architecture de décodeur uniquement. 

Le modèle génère des sorties basées uniquement sur le contexte précédent, sans codeur pour coder les entrées, ce qui le rend beaucoup plus rapide.

Les modèles Llama 3 sont dotés d'un tokenizer avec un vocabulaire de 128K tokens. Un vocabulaire plus étendu permet aux modèles de mieux comprendre et traiter le texte. En outre, les modèles utilisent désormais l'attention portée aux requêtes groupées (GQA) pour améliorer l'efficacité de l'inférence. L'AQG est une technique que l'on peut considérer comme un projecteur qui aide les modèles à se concentrer sur les parties pertinentes des données d'entrée afin de générer des réponses plus rapides et plus précises.

Voici quelques détails intéressants sur l'architecture du modèle de Llama 3 :

• Traitement de documents tenant compte des limites : Le Llama 3 maintient la clarté au-delà des limites du document, ce qui est essentiel pour des tâches telles que le résumé.
  ‍
• Meilleure compréhension du code : Les données de formation de Llama 3 comprennent quatre fois plus d'échantillons de code, ce qui améliore ses capacités de codage.
  ‍
• Un contrôle de qualité rigoureux : Des mesures rigoureuses, notamment des filtres heuristiques et la suppression des messages non sollicités, garantissent l'intégrité des données et minimisent les biais.

Le Llama 3 transforme notre approche du dressage des mannequins

Pour entraîner les plus grands modèles Llama 3, trois types de parallélisation ont été combinés : parallélisation des données, parallélisation des modèles et parallélisation du pipeline. 

La parallélisation des données répartit les données d'apprentissage sur plusieurs GPU, tandis que la parallélisation du modèle partitionne l'architecture du modèle afin d'utiliser la puissance de calcul de chaque GPU. La parallélisation du pipeline divise le processus de formation en étapes séquentielles, optimisant ainsi le calcul et la communication.

L'implémentation la plus efficace a atteint une utilisation remarquable des calculs, dépassant 400 TFLOPS par GPU lors de l'entraînement sur 16 000 GPU simultanément. Ces entraînements ont été effectués sur deux grappes de GPU construites sur mesure, chacune comprenant 24 000 GPU. Cette infrastructure de calcul importante a fourni la puissance nécessaire pour entraîner efficacement les modèles Llama 3 à grande échelle.

Pour maximiser le temps de fonctionnement des GPU, une nouvelle pile de formation avancée a été développée, automatisant la détection, le traitement et la maintenance des erreurs. La fiabilité du matériel et les mécanismes de détection ont été considérablement améliorés afin d'atténuer les risques de corruption silencieuse des données. En outre, de nouveaux systèmes de stockage évolutifs ont été mis au point pour réduire les frais généraux liés aux points de contrôle et aux retours en arrière. 

Ces améliorations ont permis de réduire la durée totale de l'entraînement de plus de 95 %. Ensemble, elles ont permis de multiplier par trois environ l'efficacité de la formation du Llama 3 par rapport au Llama 2. Cette efficacité n'est pas seulement impressionnante, elle ouvre de nouvelles perspectives pour les méthodes de formation à l'IA. 

Ouvrir des portes avec le lama 3

Comme Llama 3 est un logiciel libre, les chercheurs et les étudiants peuvent étudier son code, mener des expériences et participer à des discussions sur les préoccupations éthiques et les préjugés. Cependant, Llama 3 n'est pas seulement destiné aux universitaires. Il fait également des vagues dans les applications pratiques. Il est en train de devenir l'épine dorsale de l'interface de chat Meta AI, s'intégrant de manière transparente dans des plateformes telles que Facebook, Instagram, WhatsApp et Messenger. Avec Meta AI, les utilisateurs peuvent engager des conversations en langage naturel, accéder à des recommandations personnalisées, effectuer des tâches et entrer facilement en contact avec d'autres personnes.

Comparaison de Llama 3 avec d'autres LLM

Le Llama 3 obtient des résultats exceptionnels dans plusieurs tests de référence clés qui évaluent les capacités de compréhension et de raisonnement d'un langage complexe. Voici quelques-uns des critères qui testent divers aspects des capacités de Llama 3 :

• Massive Multitask Language Understanding (MMLU) - Mesure ses connaissances dans différents domaines.
  ‍
• General Purpose Question Answering (GPQA) - Évalue la capacité du modèle à générer des réponses cohérentes et correctes à un large éventail de questions de connaissances générales.
  ‍
• HumanEval - se concentre sur les tâches de codage et de résolution de problèmes, en testant la capacité du modèle à générer un code de programmation fonctionnel et à résoudre des problèmes algorithmiques.

Les résultats exceptionnels du Llama 3 dans ces tests le distinguent clairement des concurrents tels que le Gemma 7B de Google, le Mistral 7B de Mistral et le Claude 3 Sonnet d'Anthropic. Selon les statistiques publiées, le Llama 3 surpasse ces modèles, en particulier le modèle 70B, dans tous les tests de référence susmentionnés.

Meta Llama 3 est rendu largement accessible

Meta étend la portée de Llama 3 en le rendant disponible sur une variété de plateformes pour les utilisateurs généraux et les développeurs. Pour les utilisateurs quotidiens, Llama 3 est intégré dans les plateformes populaires de Meta telles que WhatsApp, Instagram, Facebook et Messenger. Les utilisateurs peuvent accéder à des fonctionnalités avancées telles que la recherche en temps réel et la possibilité de générer du contenu créatif directement dans ces applications. 

Le Llama 3 est également intégré dans des technologies portables telles que les lunettes intelligentes Ray-Ban Meta et le casque VR Meta Quest pour des expériences interactives.

Llama 3 est disponible sur diverses plateformes pour les développeurs, notamment AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM et Snowflake. Vous pouvez également accéder à ces modèles directement depuis Meta. Le large éventail d'options permet aux développeurs d'intégrer facilement ces capacités de modèles d'IA avancés dans leurs projets, qu'ils préfèrent travailler directement avec Meta ou par le biais d'autres plateformes populaires.

A retenir

Les progrès de l'apprentissage automatique continuent de transformer la façon dont nous interagissons avec la technologie au quotidien. Le Llama 3 de Meta montre que les LLM ne se contentent plus de générer du texte. Ils s'attaquent à des problèmes complexes et gèrent plusieurs langues. Dans l'ensemble, Llama 3 rend l'IA plus adaptable et plus accessible que jamais. À l'avenir, les mises à jour prévues pour Llama 3 promettent encore plus de capacités, comme la gestion de plusieurs modèles et la compréhension de contextes plus larges. 

Consultez notre dépôt GitHub et rejoignez notre communauté pour en savoir plus sur l'IA. Visitez nos pages de solutions pour voir comment l'IA est appliquée dans des domaines tels que la fabrication et l'agriculture.