Meta's Llama 3 kennenlernen

Als wir die Innovationen im Bereich der künstlichen Intelligenz (KI) für das erste Quartal 2024 zusammenstellten, sahen wir, dass LLMs (große Sprachmodelle) von verschiedenen Organisationen nach und nach auf den Markt gebracht wurden. Diesem Trend folgend veröffentlichte Meta am 18. April 2024 Llama 3, ein modernes Open-Source-LLM der nächsten Generation. 

Sie werden vielleicht denken: Das ist doch nur ein weiteres LLM. Warum ist die KI-Gemeinschaft so begeistert davon?

Zwar können Sie Modelle wie GPT-3 oder Gemini für maßgeschneiderte Antworten feinabstimmen, doch bieten sie keine vollständige Transparenz hinsichtlich ihrer internen Arbeitsweise, wie etwa ihrer Trainingsdaten, Modellparameter oder Algorithmen. Im Gegensatz dazu ist Meta's Llama 3 transparenter, da seine Architektur und Gewichte zum Download zur Verfügung stehen. Für die KI-Gemeinschaft bedeutet dies mehr Freiheit zum Experimentieren.

In diesem Artikel erfahren wir, was Llama 3 kann, wie es entstanden ist und welche Auswirkungen es auf die KI-Branche hat. Kommen wir gleich zur Sache!

Die Entwicklung der Llama-Modelle von Meta

Bevor wir uns mit Llama 3 beschäftigen, wollen wir einen Blick auf die früheren Versionen werfen.

Meta brachte Llama 1 im Februar 2023 auf den Markt, das in vier Varianten mit Parametern zwischen 7 Milliarden und 64 Milliarden erhältlich war. Beim maschinellen Lernen beziehen sich die "Parameter" auf die Elemente des Modells, die aus den Trainingsdaten gelernt werden. Aufgrund der geringeren Anzahl von Parametern hatte Llama 1 manchmal Probleme mit einem nuancierten Verständnis und gab uneinheitliche Antworten.

Kurz nach Llama 1 startete Meta im Juli 2023 Llama 2. Es wurde auf 2 Billionen Token trainiert. Ein Token steht für ein Textstück, z. B. ein Wort oder einen Teil eines Wortes, das als grundlegende Dateneinheit für die Verarbeitung im Modell verwendet wird. Das Modell enthielt auch Verbesserungen wie ein verdoppeltes Kontextfenster von 4096 Token, um längere Passagen zu verstehen, und über 1 Million menschliche Anmerkungen, um Fehler zu verringern. Trotz dieser Verbesserungen benötigte Llama 2 immer noch viel Rechenleistung, was Meta mit Llama 3 beheben wollte.

Meta's Llama 3 stellt sich vor

Llama 3 wird mit vier Varianten geliefert, die anhand von 15 Billionen Token trainiert wurden. Über 5 % dieser Trainingsdaten (etwa 800 Millionen Token) repräsentieren Daten in 30 verschiedenen Sprachen. Alle Llama 3-Varianten können auf verschiedenen Arten von Consumer-Hardware ausgeführt werden und haben eine Kontextlänge von 8k Token. 

Die Modellvarianten gibt es in zwei Größen: 8B und 70B, was für 8 Milliarden bzw. 70 Milliarden Parameter steht. Es gibt auch zwei Versionen, Base und Instruct. "Base" bezieht sich auf die standardmäßige, vortrainierte Version. "Instruct" ist eine fein abgestimmte Version, die für bestimmte Anwendungen oder Bereiche durch zusätzliches Training mit relevanten Daten optimiert wurde.

Dies sind die Varianten des Modells Llama 3:

• Meta-Llama-3-8b: Das Basismodell 8B bietet grundlegende KI-Funktionen und ist ideal für allgemeine Aufgaben wie die Entwicklung von Chatbots für den Kundenservice.
  ‍
• Meta-Llama-3-8b-instruct: Eine auf Instruct abgestimmte Version des 8B-Modells, die für bestimmte Aufgaben optimiert ist. Es kann z. B. zur Erstellung von Lehrmitteln verwendet werden, die komplexe Themen erklären.
  ‍
• Meta-Llama-3-70b: Das Basismodell 70B ist für leistungsstarke KI-Anwendungen konzipiert. Dieses Modell eignet sich gut für Anwendungen wie die Verarbeitung umfangreicher biomedizinischer Literatur für die Arzneimittelforschung.
  ‍
• Meta-Llama-3-70b-Instruct: Diese Version ist eine Feinabstimmung des Modells 70B für hochpräzise Anwendungen, wie z. B. die Analyse juristischer oder medizinischer Dokumente, bei denen es auf Genauigkeit ankommt.

Metas Llama 3 Modellarchitektur

Wie bei allen anderen Meta-KI-Fortschritten wurden auch bei der Entwicklung von Llama 3 strenge Qualitätskontrollen durchgeführt, um die Datenintegrität zu wahren und Verzerrungen zu minimieren. Das Endprodukt ist also ein leistungsstarkes Modell, das verantwortungsvoll erstellt wurde. 

Die Modellarchitektur von Llama 3 zeichnet sich durch ihren Fokus auf Effizienz und Leistung bei der Verarbeitung natürlicher Sprache aus. Sie basiert auf einem Transformator-basierten Rahmenwerk und betont die Recheneffizienz, insbesondere bei der Texterzeugung, durch die Verwendung einer reinen Decoder-Architektur. 

Das Modell generiert Ausgaben ausschließlich auf der Grundlage des vorangegangenen Kontexts, ohne dass ein Encoder zur Kodierung der Eingaben erforderlich ist, wodurch es wesentlich schneller ist.

Die Llama 3-Modelle verfügen über einen Tokenizer mit einem Vokabular von 128K Token. Ein größeres Vokabular bedeutet, dass die Modelle Text besser verstehen und verarbeiten können. Außerdem verwenden die Modelle jetzt eine gruppierte Abfrageaufmerksamkeit (GQA), um die Inferenz-Effizienz zu verbessern. GQA ist eine Technik, die man sich wie ein Spotlight vorstellen kann, das den Modellen hilft, sich auf relevante Teile der Eingabedaten zu konzentrieren, um schnellere und genauere Antworten zu erzeugen.

Hier noch ein paar interessante Details über die Modellarchitektur von Llama 3:

• Grenzsichere Dokumentenverarbeitung: Llama 3 behält die Klarheit über die Grenzen von Dokumenten hinweg bei, was für Aufgaben wie die Zusammenfassung von Dokumenten entscheidend ist.
  ‍
• Besseres Code-Verständnis: Die Trainingsdaten von Llama 3 enthalten viermal mehr Code-Beispiele, was seine Codierungsfähigkeiten verbessert.
  ‍
• Robuste Qualitätskontrolle: Strenge Maßnahmen, einschließlich heuristischer Filter und NSFW-Entfernung, gewährleisten die Datenintegrität und minimieren Verzerrungen.

Llama 3 verändert unsere Herangehensweise an die Modellschulung

Um die größten Llama 3-Modelle zu trainieren, wurden drei Arten der Parallelisierung kombiniert: Datenparallelisierung, Modellparallelisierung und Pipelineparallelisierung. 

Bei der Datenparallelisierung werden die Trainingsdaten auf mehrere GPUs verteilt, während bei der Modellparallelisierung die Modellarchitektur aufgeteilt wird, um die Rechenleistung jeder GPU zu nutzen. Die Pipeline-Parallelisierung unterteilt den Trainingsprozess in sequenzielle Phasen und optimiert so die Berechnung und Kommunikation.

Die effizienteste Implementierung erreichte eine bemerkenswerte Rechennutzung von über 400 TFLOPS pro GPU, wenn sie auf 16.000 GPUs gleichzeitig trainierte. Diese Trainingsläufe wurden auf zwei speziell angefertigten GPU-Clustern durchgeführt, die jeweils 24.000 GPUs umfassen. Diese umfangreiche Recheninfrastruktur lieferte die nötige Leistung, um die großen Llama-3-Modelle effizient zu trainieren.

Um die Betriebszeit der GPUs zu maximieren, wurde ein fortschrittlicher neuer Trainingsstack entwickelt, der die Fehlererkennung, -behandlung und -wartung automatisiert. Die Zuverlässigkeit der Hardware und die Erkennungsmechanismen wurden erheblich verbessert, um das Risiko einer stillen Datenkorruption zu verringern. Außerdem wurden neue skalierbare Speichersysteme entwickelt, um den Aufwand für Checkpointing und Rollback zu verringern. 

Diese Verbesserungen führten zu einer Gesamttrainingszeit von mehr als 95 % Effektivität. Zusammengenommen steigerten sie die Effizienz des Llama-3-Trainings im Vergleich zu Llama 2 um etwa das Dreifache. Diese Effizienz ist nicht nur beeindruckend, sie eröffnet auch neue Möglichkeiten für KI-Trainingsmethoden. 

Türen öffnen mit Llama 3

Da Llama 3 quelloffen ist, können Forscher und Studenten den Code studieren, Experimente durchführen und sich an Diskussionen über ethische Bedenken und Vorurteile beteiligen. Llama 3 ist jedoch nicht nur für die akademische Welt gedacht. Es schlägt auch in praktischen Anwendungen Wellen. Es wird zum Rückgrat der Meta AI Chat-Schnittstelle und lässt sich nahtlos in Plattformen wie Facebook, Instagram, WhatsApp und Messenger integrieren. Mit Meta AI können sich Nutzer in natürlicher Sprache unterhalten, auf personalisierte Empfehlungen zugreifen, Aufgaben erledigen und sich problemlos mit anderen verbinden.

Vergleich von Llama 3 mit anderen LLMs

Llama 3 schneidet bei mehreren wichtigen Benchmarks, die das komplexe Sprachverständnis und die Fähigkeit zum logischen Denken bewerten, außergewöhnlich gut ab. Hier sind einige der Benchmarks, die verschiedene Aspekte der Fähigkeiten von Llama 3 testen:

• Massive Multitask Language Understanding (MMLU) - Misst das Wissen über verschiedene Bereiche hinweg.
  ‍
• General Purpose Question Answering (GPQA) - Bewertet die Fähigkeit des Modells, kohärente und korrekte Antworten auf eine breite Palette von Fragen zum Allgemeinwissen zu geben.
  ‍
• HumanEval - Konzentriert sich auf Codierungs- und Problemlösungsaufgaben und testet die Fähigkeit des Modells, funktionalen Programmiercode zu erzeugen und algorithmische Herausforderungen zu lösen.

Mit seinen hervorragenden Ergebnissen in diesen Tests hebt sich das Llama 3 deutlich von Wettbewerbern wie dem Gemma 7B von Google, dem Mistral 7B von Mistral und dem Claude 3 Sonnet von Anthropic ab. Den veröffentlichten Statistiken zufolge übertrifft das Llama 3, insbesondere das Modell 70B, diese Modelle in allen oben genannten Benchmarks.

Meta Llama 3 wird einem breiten Publikum zugänglich gemacht

Meta erweitert die Reichweite von Llama 3, indem es über eine Vielzahl von Plattformen sowohl für normale Nutzer als auch für Entwickler verfügbar gemacht wird. Für Alltagsnutzer ist Llama 3 in Metas beliebte Plattformen wie WhatsApp, Instagram, Facebook und Messenger integriert. Die Nutzer können auf erweiterte Funktionen wie die Echtzeitsuche und die Möglichkeit, kreative Inhalte zu erstellen, direkt in diesen Apps zugreifen. 

Llama 3 wird auch in tragbare Technologien wie die Ray-Ban Meta Smart Glasses und das Meta Quest VR-Headset für interaktive Erlebnisse integriert.

Llama 3 ist auf einer Vielzahl von Plattformen für Entwickler verfügbar, darunter AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM und Snowflake. Sie können auch direkt von Meta aus auf diese Modelle zugreifen. Die breite Palette an Optionen macht es Entwicklern leicht, diese fortschrittlichen KI-Modellfunktionen in ihre Projekte zu integrieren, unabhängig davon, ob sie es vorziehen, direkt mit Meta oder über andere beliebte Plattformen zu arbeiten.

Der Mitnahmeeffekt

Die Fortschritte im Bereich des maschinellen Lernens verändern die Art und Weise, wie wir tagtäglich mit Technologie umgehen. Metas Llama 3 zeigt, dass es bei LLMs nicht mehr nur um die Generierung von Text geht. LLMs bewältigen komplexe Probleme und können mehrere Sprachen verarbeiten. Insgesamt macht Llama 3 die KI anpassungsfähiger und zugänglicher als je zuvor. Geplante Upgrades für Llama 3 versprechen noch mehr Fähigkeiten, wie die Handhabung mehrerer Modelle und das Verstehen größerer Zusammenhänge. 

Besuchen Sie unser GitHub-Repository und werden Sie Mitglied unserer Community, um mehr über KI zu erfahren. Besuchen Sie unsere Lösungsseiten, um zu sehen, wie KI in Bereichen wie Fertigung und Landwirtschaft eingesetzt wird.