Großes Sprachmodell (LLM)

Definition

Ein Large Language Model (LLM) ist im Grunde ein hochentwickeltes neuronales Netzwerk (NN), das in der Regel auf der Transformer-Architektur basiert, die in dem einflussreichen Artikel"Attention Is All You Need" vorgestellt wurde. Das "Large" in LLM bezieht sich auf die riesige Anzahl von Parametern - Variablen,die während des Trainings angepasst werden - und die von Milliarden bis zu Billionen reichen können. Im Allgemeinen kann das Modell mit einer höheren Anzahl von Parametern komplexere Muster aus den Daten lernen.

LLMs lernen diese Muster durch unüberwachtes Lernen auf riesigen Textkorpora aus dem Internet, Büchern und anderen Quellen, die oft als Big Data bezeichnet werden. Dieser Prozess hilft ihnen, Grammatik, Fakten, Argumentationsfähigkeiten und sogar Nuancen wie Tonfall und Stil zu erfassen, kann aber auch dazu führen, dass sie Verzerrungen in den Trainingsdaten lernen. Eine zentrale Fähigkeit, die während des Trainings entwickelt wird, ist die Vorhersage der nachfolgenden Wörter in einem Satz. Diese Vorhersagefähigkeit bildet die Grundlage für komplexere Aufgaben wie Texterstellung, Sprachmodellierung und Beantwortung von Fragen.

Bekannte Beispiele sind die GPT-Serie von OpenAI (wie GPT-4), Llama-Modelle von Meta AI wie Llama 3, Gemini von Google DeepMind und Claude von Anthropic.

Anwendungen

Die Vielseitigkeit der LLMs ermöglicht es, sie in verschiedenen Bereichen anzuwenden. Hier sind zwei konkrete Beispiele:

• Konversationelle KI: LLMs sind die Motoren hinter vielen fortschrittlichen Chatbots und virtuellen Assistenten. Sie versetzen diese Systeme in die Lage, Benutzeranfragen zu verstehen, den Kontext von Unterhaltungen zu erhalten und natürlich klingende Antworten zu geben. Ein gutes Beispiel dafür ist ChatGPT von OpenAI, das LLMs einsetzt, um detaillierte Dialoge zu führen, Folgefragen zu beantworten und sogar Fehler zuzugeben.
• Erstellung von Inhalten und Zusammenfassungen: LLMs können Menschen bei der Erstellung verschiedener Formen schriftlicher Inhalte unterstützen, z. B. bei Artikeln, E-Mails, Marketingtexten und kreativen Texten. Sie sind auch in der Textzusammenfassung versiert, d. h. sie fassen lange Dokumente in prägnante Übersichten zusammen und helfen so, die Informationsflut zu bekämpfen. Tools wie Jasper und Microsoft Copilot machen sich LLMs für diese Zwecke zunutze.

Schlüsselkonzepte

Um LLMs zu verstehen, musst du dich mit mehreren verwandten Konzepten vertraut machen:

• Stiftung Modelle: LLMs werden oft als Basismodelle bezeichnet, weil sie auf einer breiten Datenbasis trainiert werden und für eine Vielzahl von nachgelagerten Aufgaben angepasst (oder feinabgestimmt) werden können, ohne dass sie von Grund auf neu trainiert werden müssen.
• Aufmerksamkeitsmechanismen: Diese Mechanismen, insbesondere die Selbstaufmerksamkeit, ermöglichen es dem Modell, die Bedeutung verschiedener Wörter (Token) in der Eingabesequenz abzuwägen, wenn es ein bestimmtes Wort verarbeitet. Dies ist wichtig, um den Kontext und die Beziehungen innerhalb des Textes zu verstehen.
• Schnelles Engineering: Darunter versteht man die Kunst und Wissenschaft, effektive Eingabeaufforderungen zu entwerfen, die ein LLM dazu bringen, den gewünschten Output zu erzeugen. Die Qualität der Eingabeaufforderung beeinflusst maßgeblich die Genauigkeit und Relevanz der Antwort. Techniken wie die Gedankenkette helfen dabei, das logische Denken bei komplexen Aufgaben zu verbessern.
• Tokenisierung: Bevor LLMs einen Text verarbeiten, zerlegen sie ihn in kleinere Einheiten, die Token genannt werden. Diese Token können Wörter, Unterwörter oder Zeichen sein. Die Tokenisierung wandelt den Rohtext in ein numerisches Format um, das das Modell verstehen kann. Plattformen wie Hugging Face bieten Tools und Informationen zu verschiedenen Tokenisierungsstrategien.

LLMs vs. Computer Vision Modelle

LLMs eignen sich zwar hervorragend für Sprachaufgaben, unterscheiden sich aber deutlich von Modellen, die hauptsächlich für Computer Vision (CV) entwickelt wurden. CV-Modelle, wie z. B. Ultralytics YOLO Modelle (z. B., YOLOv8, YOLOv9, YOLOv10 und YOLO11), sind darauf spezialisiert, visuelle Informationen aus Bildern oder Videos zu interpretieren. Zu ihren Aufgaben gehören Objekterkennung, Bildklassifizierung und Instanzsegmentierung.

Mit dem Aufkommen von multimodalen Modellen und Vision Language Models (VLMs) verschwimmen diese Grenzen jedoch. Diese Modelle, wie GPT-4o von OpenAI oder Gemini von Google, integrieren das Verständnis verschiedener Modalitäten (z. B. Text und Bilder) und ermöglichen so Aufgaben wie die Beschreibung von Bildern oder die Beantwortung von Fragen zu visuellen Inhalten.

Plattformen wie Ultralytics HUB bieten Werkzeuge und Infrastrukturen für das Training und den Einsatz verschiedener KI-Modelle, einschließlich solcher für Sehaufgaben, und erleichtern so die Entwicklung verschiedener KI-Anwendungen. Da LLMs und andere KI-Modelle immer leistungsfähiger werden, werden Überlegungen zu KI-Ethik, algorithmischer Voreingenommenheit und Datenschutz immer wichtiger. Weitere Informationen zu KI-Konzepten und Modellvergleichen findest du in der Ultralytics und auf den Modellvergleichsseiten.