Metas Llama 3 kennenlernen

Als wir die (KI) Innovationen des ersten Quartals 2024 zusammenfassten, sahen wir, dass LLMs, oder Large Language Models, von verschiedenen Organisationen am laufenden Band veröffentlicht wurden. Diesem Trend folgend, veröffentlichte Meta am 18. April 2024 Llama 3, ein Open-Source-LLM der nächsten Generation auf dem neuesten Stand der Technik.

Du denkst vielleicht: Es ist nur ein weiteres LLM. Warum ist die KI-Community so begeistert davon?

Während du Modelle wie GPT-3 oder Gemini für maßgeschneiderte Antworten feinabstimmen kannst, bieten sie keine vollständige Transparenz hinsichtlich ihrer internen Funktionsweise, wie etwa ihrer Trainingsdaten, Modellparameter oder Algorithmen. Im Gegensatz dazu ist Meta's Llama 3 transparenter, da seine Architektur und Gewichte zum Download bereitstehen. Für die KI-Community bedeutet dies mehr Freiheit zum Experimentieren.

In diesem Artikel erfahren wir, was Llama 3 kann, wie es entstanden ist und welchen Einfluss es auf den KI-Bereich hat. Fangen wir direkt an!

Link to this sectionDie Entwicklung von Meta’s Llama-Modellen#

Bevor wir in Llama 3 eintauchen, schauen wir uns die früheren Versionen an.

Meta startete Llama 1 im Februar 2023, das in vier Varianten mit Parametern von 7 Milliarden bis 65 Milliarden erschien. Im maschinellen Lernen beziehen sich "Parameter" auf die Elemente des Modells, die aus den Trainingsdaten gelernt werden. Aufgrund der geringeren Anzahl an Parametern hatte Llama 1 manchmal Schwierigkeiten mit nuanciertem Verständnis und lieferte inkonsistente Antworten.

Kurz nach Llama 1 startete Meta im Juli 2023 Llama 2. Es wurde mit 2 Billionen Tokens trainiert. Ein Token stellt ein Stück Text dar, wie ein Wort oder ein Teil eines Wortes, das als grundlegende Dateneinheit für die Verarbeitung im Modell verwendet wird. Das Modell bot zudem Verbesserungen wie ein verdoppeltes Kontextfenster von 4096 Tokens, um längere Passagen zu verstehen, sowie über 1 Million menschliche Annotationen, um Fehler zu verringern. Trotz dieser Verbesserungen benötigte Llama 2 immer noch viel Rechenleistung, etwas, das Meta mit Llama 3 beheben wollte.

Link to this sectionWir stellen vor: Meta’s Llama 3#

Llama 3 wird mit vier Varianten geliefert, die mit erstaunlichen 15 Billionen Tokens trainiert wurden. Über 5% dieser Trainingsdaten (etwa 800 Millionen Tokens) repräsentierten Daten in 30 verschiedenen Sprachen. Alle Llama 3-Varianten können auf verschiedenen Arten von Consumer-Hardware ausgeführt werden und haben eine Kontextlänge von 8k Tokens.

Abb. 1. Llama 3 im Vergleich zu Llama 2.

Die Modellvarianten gibt es in zwei Größen: 8B und 70B, was 8 Milliarden bzw. 70 Milliarden Parameter bedeutet. Es gibt auch zwei Versionen, "base" und "instruct". "Base" bezieht sich auf die standardmäßige vortrainierte Version. "Instruct" ist eine feinabgestimmte Version, die durch zusätzliches Training mit relevanten Daten für bestimmte Anwendungen oder Bereiche optimiert wurde.

Dies sind die Llama 3-Modellvarianten:

• Meta-Llama-3-8b: Das Basismodell mit 8B bietet grundlegende KI-Fähigkeiten und ist ideal für allgemeine Aufgaben wie die Entwicklung von Kundenservice-Chatbots.
• Meta-Llama-3-8b-instruct: Eine instruktionsfeinabgestimmte Version des 8B-Modells, die für spezifische Aufgaben optimiert ist. Sie kann zum Beispiel genutzt werden, um Bildungstools zu erstellen, die komplexe Themen erklären.
• Meta-Llama-3-70b: Das Basismodell mit 70B ist für leistungsstarke KI-Anwendungen konzipiert. Dieses Modell würde gut für Anwendungen wie die Verarbeitung umfangreicher biomedizinischer Literatur für die Wirkstoffforschung funktionieren.
• Meta-Llama-3-70b-instruct: Diese Version ist ausgehend vom 70B-Modell für hochpräzise Anwendungen feinabgestimmt, wie etwa die Analyse von juristischen oder medizinischen Dokumenten, bei denen Genauigkeit kritisch ist.

Link to this sectionMeta’s Llama 3 Modellarchitektur#

Wie bei allen anderen Fortschritten von Meta AI wurden strenge Qualitätskontrollmaßnahmen eingeführt, um die Datenintegrität zu wahren und Verzerrungen bei der Entwicklung von Llama 3 zu minimieren. Das Endprodukt ist also ein leistungsstarkes Modell, das verantwortungsbewusst erstellt wurde.

Die Llama 3-Modellarchitektur zeichnet sich durch ihren Fokus auf Effizienz und Leistung bei Aufgaben der natürlichen Sprachverarbeitung aus. Sie basiert auf einem Transformer-Framework und betont die rechnerische Effizienz, besonders bei der Textgenerierung, durch den Einsatz einer Decoder-only Architektur.

Das Modell generiert Ausgaben basierend allein auf dem vorherigen Kontext, ohne einen Encoder zur Eingabekodierung, was es wesentlich schneller macht.

Abb. 2. Verantwortungsbewusste Modellarchitektur von Llama 3.

Die Llama 3-Modelle verfügen über einen Tokenizer mit einem Vokabular von 128K Tokens. Ein größeres Vokabular bedeutet, dass die Modelle Text besser verstehen und verarbeiten können. Außerdem verwenden die Modelle jetzt Grouped Query Attention (GQA), um die Inferenz-Effizienz zu verbessern. GQA ist eine Technik, die du dir wie einen Scheinwerfer vorstellen kannst, der den Modellen hilft, sich auf relevante Teile der Eingabedaten zu konzentrieren, um schnellere und genauere Antworten zu generieren.

Hier sind noch ein paar interessante Details zur Modellarchitektur von Llama 3:

• Grenzenbewusste Dokumentenverarbeitung: Llama 3 bewahrt die Klarheit über Dokumentengrenzen hinweg, was entscheidend für Aufgaben wie Zusammenfassungen ist.
• Besseres Code-Verständnis: Die Trainingsdaten von Llama 3 enthalten viermal mehr Code-Beispiele, was seine Programmierfähigkeiten steigert.
• Robuste Qualitätskontrolle: Strenge Maßnahmen, einschließlich heuristischer Filter und NSFW-Entfernung, stellen die Datenintegrität sicher und minimieren Verzerrungen.

Link to this sectionLlama 3 verändert, wie wir das Modelltraining angehen#

Um die größten Llama 3-Modelle zu trainieren, wurden drei Arten der Parallelisierung kombiniert: Datenparallelisierung, Modellparallelisierung und Pipeline-Parallelisierung.

Die Datenparallelisierung verteilt die Trainingsdaten auf mehrere GPUs, während die Modellparallelisierung die Modellarchitektur partitioniert, um die Rechenleistung jeder GPU zu nutzen. Die Pipeline-Parallelisierung unterteilt den Trainingsprozess in sequenzielle Stufen, um Berechnung und Kommunikation zu optimieren.

Die effizienteste Implementierung erreichte eine bemerkenswerte Rechenauslastung von über 400 TFLOPS pro GPU beim Training auf 16.000 GPUs gleichzeitig. Diese Trainingsläufe wurden auf zwei maßgeschneiderten GPU-Clustern durchgeführt, von denen jeder 24.000 GPUs umfasst. Diese substanzielle Recheninfrastruktur bot die notwendige Power, um die großskalierten Llama 3-Modelle effizient zu trainieren.

Um die GPU-Uptime zu maximieren, wurde ein fortschrittlicher neuer Trainings-Stack entwickelt, der die Fehlererkennung, -handhabung und -wartung automatisiert. Hardware-Zuverlässigkeit und Erkennungsmechanismen wurden stark verbessert, um Risiken durch stille Datenkorruption zu minimieren. Außerdem wurden neue skalierbare Speichersysteme entwickelt, um den Aufwand für Checkpointing und Rollbacks zu reduzieren.

Diese Verbesserungen führten zu einer Gesamteffektivität der Trainingszeit von über 95%. Zusammengenommen steigerten sie die Effizienz des Llama 3-Trainings um etwa das Dreifache im Vergleich zu Llama 2. Diese Effizienz ist nicht nur beeindruckend; sie eröffnet neue Möglichkeiten für KI-Trainingsmethoden.

Link to this sectionTüren öffnen mit Llama 3#

Da Llama 3 Open-Source ist, können Forscher und Studenten seinen Code untersuchen, Experimente durchführen und Diskussionen über ethische Bedenken und Verzerrungen führen. Llama 3 ist jedoch nicht nur für das akademische Umfeld gedacht. Es schlägt auch in praktischen Anwendungen Wellen. Es wird zum Rückgrat der Meta AI Chat-Schnittstelle und integriert sich nahtlos in Plattformen wie Facebook, Instagram, WhatsApp und Messenger. Mit Meta AI können Benutzer natürliche Sprachgespräche führen, auf personalisierte Empfehlungen zugreifen, Aufgaben erledigen und sich einfach mit anderen verbinden.

Abb. 3. Meta AI: Angetrieben von Llama 3.

Link to this sectionVergleich von Llama 3 mit anderen LLMs#

Llama 3 schneidet bei mehreren wichtigen Benchmarks, die komplexes Sprachverständnis und Denkfähigkeiten bewerten, außergewöhnlich gut ab. Hier sind einige der Benchmarks, die verschiedene Aspekte der Fähigkeiten von Llama 3 testen:

• Massive Multitask Language Understanding (MMLU) - Misst sein Wissen über verschiedene Bereiche hinweg.
• General Purpose Question Answering (GPQA) - Bewertet die Fähigkeit des Modells, kohärente und korrekte Antworten auf eine breite Palette von Allgemeinwissensfragen zu generieren.
• HumanEval - Konzentriert sich auf Aufgaben zum Programmieren und Problemlösen und testet die Fähigkeit des Modells, funktionalen Programmiercode zu generieren und algorithmische Herausforderungen zu lösen.

Die herausragenden Ergebnisse von Llama 3 in diesen Tests unterscheiden es deutlich von Konkurrenten wie Google's Gemma 7B, Mistral's Mistral 7B und Anthropic's Claude 3 Sonnet. Laut veröffentlichten Statistiken, insbesondere beim 70B-Modell, übertrifft Llama 3 diese Modelle in allen oben genannten Benchmarks.

Abb. 4. Vergleich von Llama 3 mit anderen LLMs.

Link to this sectionMeta Llama 3 wird weithin zugänglich gemacht#

Meta erweitert die Reichweite von Llama 3, indem es auf einer Vielzahl von Plattformen sowohl für allgemeine Benutzer als auch für Entwickler verfügbar gemacht wird. Für alltägliche Nutzer ist Llama 3 in beliebte Meta-Plattformen wie WhatsApp, Instagram, Facebook und Messenger integriert. Benutzer können auf erweiterte Funktionen wie Echtzeitsuche und die Möglichkeit, kreative Inhalte direkt in diesen Apps zu generieren, zugreifen.

Llama 3 wird auch in Wearable-Technologien wie die Ray-Ban Meta Smart Glasses und das Meta Quest VR-Headset für interaktive Erfahrungen eingebunden.

Llama 3 ist für Entwickler auf einer Vielzahl von Plattformen verfügbar, darunter AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM und Snowflake. Du kannst auch direkt über Meta auf diese Modelle zugreifen. Die breite Palette an Optionen macht es Entwicklern leicht, diese fortschrittlichen KI-Modellfähigkeiten in ihre Projekte zu integrieren, egal ob sie lieber direkt mit Meta oder über andere populäre Plattformen arbeiten möchten.

Link to this sectionDas Fazit#

Fortschritte im maschinellen Lernen verändern weiterhin, wie wir täglich mit Technologie interagieren. Meta's Llama 3 zeigt, dass es bei LLMs nicht mehr nur um das Generieren von Text geht. LLMs bewältigen komplexe Probleme und handhaben mehrere Sprachen. Insgesamt macht Llama 3 KI anpassungsfähiger und zugänglicher als je zuvor. Mit Blick auf die Zukunft versprechen geplante Upgrades für Llama 3 noch mehr Fähigkeiten, wie die Handhabung mehrerer Modelle und das Verständnis größerer Kontexte.

Sieh dir unser GitHub-Repository an und tritt unserer Community bei, um mehr über KI zu erfahren. Besuche unsere Lösungsseiten, um zu sehen, wie KI in Bereichen wie Fertigung und Landwirtschaft angewendet wird.