Le Llama 3 de Meta est sorti récemment et a suscité un grand enthousiasme de la part de la communauté de l'IA. Découvrez Llama 3, la dernière avancée de Meta en matière d'intelligence artificielle.

Le Llama 3 de Meta est sorti récemment et a suscité un grand enthousiasme de la part de la communauté de l'IA. Découvrez Llama 3, la dernière avancée de Meta en matière d'intelligence artificielle.
Lorsque nous avons fait le point sur les innovations en matière d'intelligence artificielle (IA) du premier trimestre 2024, nous avons constaté que les LLM, ou grands modèles de langage, étaient publiés à droite et à gauche par différentes organisations. Poursuivant cette tendance, le 18 avril 2024, Meta a publié Llama 3, un LLM open-source de nouvelle génération à la pointe de la technologie.
Vous vous dites peut-être : Ce n'est qu'un autre LLM. Pourquoi la communauté de l'IA est-elle si enthousiaste ?
Bien qu'il soit possible d'affiner des modèles tels que GPT-3 ou Gemini pour obtenir des réponses personnalisées, ils n'offrent pas une transparence totale quant à leur fonctionnement interne, comme leurs données d'apprentissage, les paramètres du modèle ou les algorithmes. En revanche, le Llama 3 de Meta est plus transparent, son architecture et ses poids pouvant être téléchargés. Pour la communauté de l'IA, cela signifie une plus grande liberté d'expérimentation.
Dans cet article, nous allons découvrir ce que peut faire le Llama 3, comment il est né et quel est son impact sur le domaine de l'IA. Entrons dans le vif du sujet !
Avant de nous plonger dans Llama 3, revenons sur ses versions antérieures.
Meta a lancé Llama 1 en février 2023, qui se décline en quatre variantes avec des paramètres allant de 7 milliards à 64 milliards. Dans le domaine de l'apprentissage automatique, les "paramètres" désignent les éléments du modèle qui sont appris à partir des données d'apprentissage. En raison de son nombre réduit de paramètres, Llama 1 avait parfois du mal à comprendre les nuances et donnait des réponses incohérentes.
Peu après Llama 1, Meta a lancé Llama 2 en juillet 2023. Il a été entraîné sur 2 billions de jetons. Un jeton représente un morceau de texte, comme un mot ou une partie de mot, utilisé comme unité de données de base pour le traitement dans le modèle. Le modèle comportait également des améliorations telles qu'une fenêtre contextuelle doublée de 4096 tokens pour comprendre les passages plus longs et plus d'un million d'annotations humaines pour réduire les erreurs. Malgré ces améliorations, Llama 2 nécessitait encore beaucoup de puissance de calcul, ce que Meta s'est efforcé de corriger avec Llama 3.
Le Llama 3 est proposé avec quatre variantes qui ont été entraînées à partir d'un nombre impressionnant de 15 billions de jetons. Plus de 5 % de ces données d'entraînement (environ 800 millions de tokens) représentaient des données dans 30 langues différentes. Toutes les variantes de Llama 3 peuvent être exécutées sur différents types de matériel informatique grand public et ont une longueur de contexte de 8k tokens.
Les variantes du modèle existent en deux tailles : 8B et 70B, indiquant respectivement 8 milliards et 70 milliards de paramètres. Il existe également deux versions, base et instruire. "Base" fait référence à la version standard pré-entraînée. "Instruct" est une version affinée, optimisée pour des applications ou des domaines spécifiques grâce à un entraînement supplémentaire sur des données pertinentes.
Il s'agit des variantes du modèle Llama 3 :
Comme pour toutes les autres avancées de Meta AI, des mesures rigoureuses de contrôle de la qualité ont été mises en place pour maintenir l'intégrité des données et minimiser les biais lors du développement de Llama 3. Le produit final est donc un modèle puissant créé de manière responsable.
L'architecture du modèle Llama 3 se distingue par l'importance qu'elle accorde à l'efficacité et à la performance dans les tâches de traitement du langage naturel. Construit sur un cadre basé sur un transformateur, il met l'accent sur l'efficacité des calculs, en particulier lors de la génération de texte, en utilisant une architecture de décodeur uniquement.
Le modèle génère des sorties basées uniquement sur le contexte précédent, sans codeur pour coder les entrées, ce qui le rend beaucoup plus rapide.
Les modèles Llama 3 sont dotés d'un tokenizer avec un vocabulaire de 128K tokens. Un vocabulaire plus étendu permet aux modèles de mieux comprendre et traiter le texte. En outre, les modèles utilisent désormais l'attention portée aux requêtes groupées (GQA) pour améliorer l'efficacité de l'inférence. L'AQG est une technique que l'on peut considérer comme un projecteur qui aide les modèles à se concentrer sur les parties pertinentes des données d'entrée afin de générer des réponses plus rapides et plus précises.
Voici quelques détails intéressants sur l'architecture du modèle de Llama 3 :
Pour entraîner les plus grands modèles Llama 3, trois types de parallélisation ont été combinés : parallélisation des données, parallélisation des modèles et parallélisation du pipeline.
La parallélisation des données répartit les données d'apprentissage sur plusieurs GPU, tandis que la parallélisation du modèle partitionne l'architecture du modèle afin d'utiliser la puissance de calcul de chaque GPU. La parallélisation du pipeline divise le processus de formation en étapes séquentielles, optimisant ainsi le calcul et la communication.
L'implémentation la plus efficace a atteint une utilisation remarquable des calculs, dépassant 400 TFLOPS par GPU lors de l'entraînement sur 16 000 GPU simultanément. Ces entraînements ont été effectués sur deux grappes de GPU construites sur mesure, chacune comprenant 24 000 GPU. Cette infrastructure de calcul importante a fourni la puissance nécessaire pour entraîner efficacement les modèles Llama 3 à grande échelle.
Pour maximiser le temps de fonctionnement des GPU, une nouvelle pile de formation avancée a été développée, automatisant la détection, le traitement et la maintenance des erreurs. La fiabilité du matériel et les mécanismes de détection ont été considérablement améliorés afin d'atténuer les risques de corruption silencieuse des données. En outre, de nouveaux systèmes de stockage évolutifs ont été mis au point pour réduire les frais généraux liés aux points de contrôle et aux retours en arrière.
Ces améliorations ont permis de réduire la durée totale de l'entraînement de plus de 95 %. Ensemble, elles ont permis de multiplier par trois environ l'efficacité de la formation du Llama 3 par rapport au Llama 2. Cette efficacité n'est pas seulement impressionnante, elle ouvre de nouvelles perspectives pour les méthodes de formation à l'IA.
Comme Llama 3 est un logiciel libre, les chercheurs et les étudiants peuvent étudier son code, mener des expériences et participer à des discussions sur les préoccupations éthiques et les préjugés. Cependant, Llama 3 n'est pas seulement destiné aux universitaires. Il fait également des vagues dans les applications pratiques. Il est en train de devenir l'épine dorsale de l'interface de chat Meta AI, s'intégrant de manière transparente dans des plateformes telles que Facebook, Instagram, WhatsApp et Messenger. Avec Meta AI, les utilisateurs peuvent engager des conversations en langage naturel, accéder à des recommandations personnalisées, effectuer des tâches et entrer facilement en contact avec d'autres personnes.
Le Llama 3 obtient des résultats exceptionnels dans plusieurs tests de référence clés qui évaluent les capacités de compréhension et de raisonnement d'un langage complexe. Voici quelques-uns des critères qui testent divers aspects des capacités de Llama 3 :
Les résultats exceptionnels du Llama 3 dans ces tests le distinguent clairement des concurrents tels que le Gemma 7B de Google, le Mistral 7B de Mistral et le Claude 3 Sonnet d'Anthropic. Selon les statistiques publiées, le Llama 3 surpasse ces modèles, en particulier le modèle 70B, dans tous les tests de référence susmentionnés.
Meta étend la portée de Llama 3 en le rendant disponible sur une variété de plateformes pour les utilisateurs généraux et les développeurs. Pour les utilisateurs quotidiens, Llama 3 est intégré dans les plateformes populaires de Meta telles que WhatsApp, Instagram, Facebook et Messenger. Les utilisateurs peuvent accéder à des fonctionnalités avancées telles que la recherche en temps réel et la possibilité de générer du contenu créatif directement dans ces applications.
Le Llama 3 est également intégré dans des technologies portables telles que les lunettes intelligentes Ray-Ban Meta et le casque VR Meta Quest pour des expériences interactives.
Llama 3 est disponible sur diverses plateformes pour les développeurs, notamment AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM et Snowflake. Vous pouvez également accéder à ces modèles directement depuis Meta. Le large éventail d'options permet aux développeurs d'intégrer facilement ces capacités de modèles d'IA avancés dans leurs projets, qu'ils préfèrent travailler directement avec Meta ou par le biais d'autres plateformes populaires.
Les progrès de l'apprentissage automatique continuent de transformer la façon dont nous interagissons avec la technologie au quotidien. Le Llama 3 de Meta montre que les LLM ne se contentent plus de générer du texte. Ils s'attaquent à des problèmes complexes et gèrent plusieurs langues. Dans l'ensemble, Llama 3 rend l'IA plus adaptable et plus accessible que jamais. À l'avenir, les mises à jour prévues pour Llama 3 promettent encore plus de capacités, comme la gestion de plusieurs modèles et la compréhension de contextes plus larges.
Consultez notre dépôt GitHub et rejoignez notre communauté pour en savoir plus sur l'IA. Visitez nos pages de solutions pour voir comment l'IA est appliquée dans des domaines tels que la fabrication et l'agriculture.