Apprendre à connaître Llama 3 de Meta

Lorsque nous avons fait le bilan des innovations en intelligence artificielle (IA) du premier trimestre 2024, nous avons constaté que les LLM, ou grands modèles linguistiques, étaient lancés à tout va par différentes organisations. Poursuivant cette tendance, Meta a lancé le 18 avril 2024 Llama 3, un LLM open-source de nouvelle génération à la pointe de la technologie.

Tu te dis peut-être : C'est juste un autre LLM. Pourquoi la communauté de l'IA est-elle si enthousiaste à son sujet ?

Bien que tu puisses affiner (fine-tune) des modèles comme GPT-3 ou Gemini pour obtenir des réponses personnalisées, ils n'offrent pas une transparence totale concernant leur fonctionnement interne, comme leurs données d'entraînement, les paramètres du modèle ou leurs algorithmes. À l'inverse, Llama 3 de Meta est plus transparent, son architecture et ses poids étant disponibles au téléchargement. Pour la communauté de l'IA, cela signifie une plus grande liberté d'expérimentation.

Dans cet article, nous allons découvrir ce que Llama 3 peut faire, comment il a été conçu et quel est son impact sur le domaine de l'IA. Allons droit au but !

Link to this sectionL'évolution des modèles Llama de Meta#

Avant de nous plonger dans Llama 3, jetons un coup d'œil à ses versions précédentes.

Meta a lancé Llama 1 en février 2023, proposé en quatre variantes avec des paramètres allant de 7 milliards à 65 milliards. En apprentissage automatique, les « paramètres » désignent les éléments du modèle qui sont appris à partir des données d'entraînement. En raison de son nombre plus réduit de paramètres, Llama 1 peinait parfois à offrir une compréhension nuancée et donnait des réponses incohérentes.

Peu après Llama 1, Meta a lancé Llama 2 en juillet 2023. Il a été entraîné sur 2 000 milliards de jetons (tokens). Un jeton représente un morceau de texte, comme un mot ou une partie de mot, utilisé comme unité de données de base pour le traitement dans le modèle. Le modèle présentait également des améliorations telles qu'une fenêtre de contexte doublée de 4096 jetons pour comprendre des passages plus longs et plus d'un million d'annotations humaines pour réduire les erreurs. Malgré ces améliorations, Llama 2 nécessitait toujours beaucoup de puissance de calcul, un point que Meta a cherché à corriger avec Llama 3.

Link to this sectionPrésentation de Llama 3 de Meta#

Llama 3 est proposé en quatre variantes qui ont été entraînées sur la quantité impressionnante de 15 000 milliards de jetons. Plus de 5 % de ces données d'entraînement (environ 800 millions de jetons) représentaient des données dans 30 langues différentes. Toutes les variantes de Llama 3 peuvent être exécutées sur divers types de matériel grand public et possèdent une longueur de contexte de 8 000 jetons.

Fig 1. Llama 3 Vs Llama 2.

Les variantes du modèle sont disponibles en deux tailles : 8B et 70B, indiquant respectivement 8 milliards et 70 milliards de paramètres. Il existe également deux versions, base et instruct. « Base » désigne la version standard pré-entraînée. « Instruct » est une version affinée optimisée pour des applications ou des domaines spécifiques grâce à un entraînement supplémentaire sur des données pertinentes.

Voici les variantes du modèle Llama 3 :

• Meta-Llama-3-8b : Le modèle 8B de base fournit des capacités d'IA fondamentales et est idéal pour des tâches générales telles que le développement de chatbots de service client.
• Meta-Llama-3-8b-instruct : Une version affinée (fine-tuned) du modèle 8B optimisée pour des tâches spécifiques. Par exemple, il peut être utilisé pour créer des outils éducatifs qui expliquent des sujets complexes.
• Meta-Llama-3-70b : Le modèle 70B de base est conçu pour des applications d'IA haute performance. Ce modèle fonctionnerait bien pour des applications telles que le traitement de littérature biomédicale étendue pour la découverte de médicaments.
• Meta-Llama-3-70b-instruct : Cette version est affinée à partir du modèle 70B pour des applications très précises, telles que l'analyse de documents juridiques ou médicaux, où la précision est critique.

Link to this sectionL'architecture du modèle Llama 3 de Meta#

Comme pour toute autre avancée de Meta AI, des mesures rigoureuses de contrôle qualité ont été mises en place pour maintenir l'intégrité des données et minimiser les biais lors du développement de Llama 3. Le produit final est donc un modèle puissant qui a été créé de manière responsable.

L'architecture du modèle Llama 3 se distingue par son accent sur l'efficacité et la performance dans les tâches de traitement du langage naturel. Construite sur un cadre basé sur les Transformer, elle met l'accent sur l'efficacité computationnelle, surtout lors de la génération de texte, en utilisant une architecture de type décodeur seul (decoder-only).

Le modèle génère des sorties basées uniquement sur le contexte précédent sans encodeur pour encoder les entrées, ce qui le rend beaucoup plus rapide.

Fig 2. Architecture du modèle responsable de Llama 3.

Les modèles Llama 3 disposent d'un tokenizer avec un vocabulaire de 128 000 jetons. Un vocabulaire plus grand signifie que les modèles peuvent mieux comprendre et traiter le texte. De plus, les modèles utilisent désormais le mécanisme GQA (grouped query attention) pour améliorer l'efficacité de l'inférence. GQA est une technique que tu peux concevoir comme un projecteur qui aide les modèles à se concentrer sur les parties pertinentes des données d'entrée pour générer des réponses plus rapides et plus précises.

Voici quelques détails supplémentaires intéressants sur l'architecture du modèle Llama 3 :

• Traitement de documents avec conscience des limites (Boundary-Aware) : Llama 3 maintient la clarté au-delà des limites des documents, ce qui est essentiel pour des tâches comme la synthèse.
• Meilleure compréhension du code : Les données d'entraînement de Llama 3 incluent quatre fois plus d'exemples de code, ce qui renforce ses capacités de programmation.
• Contrôle qualité robuste : Des mesures rigoureuses, incluant des filtres heuristiques et la suppression des contenus NSFW, garantissent l'intégrité des données et minimisent les biais.

Link to this sectionLlama 3 transforme la façon dont nous abordons l'entraînement des modèles#

Pour entraîner les plus grands modèles Llama 3, trois types de parallélisation ont été combinés : la parallélisation des données, la parallélisation du modèle et la parallélisation en pipeline.

La parallélisation des données répartit les données d'entraînement sur plusieurs GPU, tandis que la parallélisation du modèle partitionne l'architecture du modèle pour utiliser la puissance de calcul de chaque GPU. La parallélisation en pipeline divise le processus d'entraînement en étapes séquentielles, optimisant le calcul et la communication.

L'implémentation la plus efficace a atteint une utilisation remarquable du calcul, dépassant 400 TFLOPS par GPU lors d'un entraînement simultané sur 16 000 GPU. Ces cycles d'entraînement ont été effectués sur deux clusters de GPU personnalisés, chacun comprenant 24 000 GPU. Cette infrastructure computationnelle substantielle a fourni la puissance nécessaire pour entraîner efficacement les modèles Llama 3 à grande échelle.

Pour maximiser la disponibilité des GPU, une nouvelle pile d'entraînement avancée a été développée, automatisant la détection des erreurs, leur gestion et la maintenance. La fiabilité du matériel et les mécanismes de détection ont été considérablement améliorés pour atténuer les risques de corruption silencieuse des données. De plus, de nouveaux systèmes de stockage évolutifs ont été développés pour réduire les frais généraux de création de points de contrôle (checkpointing) et de restauration.

Ces améliorations ont conduit à un temps d'entraînement global avec une efficacité de plus de 95 %. Combinées, elles ont augmenté l'efficacité de l'entraînement de Llama 3 d'environ trois fois par rapport à Llama 2. Cette efficacité n'est pas seulement impressionnante ; elle ouvre de nouvelles possibilités pour les méthodes d'entraînement de l'IA.

Link to this sectionOuvrir des portes avec Llama 3#

Parce que Llama 3 est open-source, les chercheurs et les étudiants peuvent étudier son code, mener des expériences et engager des discussions sur les préoccupations éthiques et les biais. Cependant, Llama 3 n'est pas réservé au milieu universitaire. Il fait également des vagues dans des applications pratiques. Il devient l'épine dorsale de l'interface de chat Meta AI, s'intégrant de manière transparente dans des plateformes comme Facebook, Instagram, WhatsApp et Messenger. Avec Meta AI, les utilisateurs peuvent engager des conversations en langage naturel, accéder à des recommandations personnalisées, effectuer des tâches et se connecter facilement avec les autres.

Fig 3. Meta AI : propulsé par Llama 3.

Link to this sectionComparaison de Llama 3 avec d'autres LLM#

Llama 3 obtient des performances exceptionnelles sur plusieurs benchmarks clés qui évaluent la compréhension complexe du langage et les capacités de raisonnement. Voici quelques-uns des benchmarks qui testent divers aspects des capacités de Llama 3 :

• Massive Multitask Language Understanding (MMLU) - Mesure ses connaissances à travers divers domaines.
• General Purpose Question Answering (GPQA) - Évalue la capacité du modèle à générer des réponses cohérentes et correctes à un large éventail de questions de culture générale.
• HumanEval - Se concentre sur les tâches de codage et de résolution de problèmes, testant la capacité du modèle à générer du code de programmation fonctionnel et à résoudre des défis algorithmiques.

Les résultats exceptionnels de Llama 3 dans ces tests le distinguent clairement de concurrents tels que Gemma 7B de Google, Mistral 7B de Mistral et Claude 3 Sonnet d'Anthropic. Selon les statistiques publiées, en particulier pour le modèle 70B, Llama 3 surpasse ces modèles dans tous les benchmarks ci-dessus.

Fig 4. Comparaison de Llama 3 avec d'autres LLM.

Link to this sectionMeta Llama 3 est rendu largement accessible#

Meta étend la portée de Llama 3 en le rendant disponible sur une variété de plateformes tant pour les utilisateurs généraux que pour les développeurs. Pour les utilisateurs quotidiens, Llama 3 est intégré aux plateformes populaires de Meta telles que WhatsApp, Instagram, Facebook et Messenger. Les utilisateurs peuvent accéder à des fonctionnalités avancées telles que la recherche en temps réel et la capacité de générer du contenu créatif directement au sein de ces applications.

Llama 3 est également incorporé dans des technologies portables comme les lunettes connectées Ray-Ban Meta et le casque de VR Meta Quest pour des expériences interactives.

Llama 3 est disponible sur une variété de plateformes pour les développeurs, notamment AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM et Snowflake. Tu peux également accéder à ces modèles directement depuis Meta. Le large éventail d'options facilite l'intégration par les développeurs de ces capacités de modèles d'IA avancés dans leurs projets, qu'ils préfèrent travailler directement avec Meta ou via d'autres plateformes populaires.

Link to this sectionÀ retenir#

Les avancées en apprentissage automatique continuent de transformer la façon dont nous interagissons avec la technologie au quotidien. Llama 3 de Meta montre que les LLM ne servent plus seulement à générer du texte. Les LLM s'attaquent à des problèmes complexes et gèrent plusieurs langues. Globalement, Llama 3 rend l'IA plus adaptable et accessible que jamais. En regardant vers l'avenir, les mises à niveau prévues pour Llama 3 promettent encore plus de capacités, comme la gestion de modèles multiples et la compréhension de contextes plus vastes.

Consulte notre dépôt GitHub et rejoins notre communauté pour en savoir plus sur l'IA. Visite nos pages de solutions pour voir comment l'IA est appliquée dans des domaines comme la fabrication et l'agriculture.