LangChain

LangChain ist ein Open-Source-Framework, das die Entwicklung von Anwendungen vereinfacht, die auf großen Sprachmodellen (LLMs) basieren. LLMs wie GPT-4 sind zwar an sich leistungsstark, arbeiten jedoch oft isoliert und verfügen nicht über Echtzeitdaten oder spezifische Geschäftskontexte. LangChain fungiert als Brücke und ermöglicht es Entwicklern, verschiedene Komponenten – wie Eingabeaufforderungen, Modelle und externe Datenquellen – miteinander zu verknüpfen, um ausgefeilte, kontextbezogene Anwendungen zu erstellen. Durch die Verwaltung der Komplexität dieser Interaktionen ermöglicht LangChain künstlichen Intelligenzsystemen (KI-Systemen), Probleme zu analysieren und auf der Grundlage dynamischer Eingaben Maßnahmen zu ergreifen.

Kernkomponenten von LangChain

Das Framework basiert auf mehreren modularen Konzepten, die zusammenwirken, um Workflows der natürlichen Sprachverarbeitung (Natural Language Processing, NLP) zu verbessern.

• Ketten: Als grundlegender Baustein ist eine Kette eine Abfolge von Aufrufen an ein LLM oder andere Dienstprogramme. Eine einfache Kette könnte beispielsweise die Eingabe eines Benutzers entgegennehmen, sie mithilfe einer Prompt-Engineering-Vorlage formatieren und an ein Modell weiterleiten, um eine Antwort zu generieren. Komplexere Ketten können mehrere Aufrufe sequenzieren, wobei die Ausgabe eines Schritts zur Eingabe für den nächsten wird.
• Agenten: Im Gegensatz zu Ketten, die einer fest programmierten Abfolge folgen, verwendet ein KI-Agent ein LLM als Entscheidungsmaschine, um zu bestimmen, welche Maßnahmen in welcher Reihenfolge zu ergreifen sind. Agenten können APIs abfragen, das Internet durchsuchen oder auf Datenbanken zugreifen, um Fragen zu beantworten, die aktuelles Wissen erfordern.
• Abruf: Um die Antworten des Modells auf Fakten zu stützen, ermöglicht LangChain die abrufgestützte Generierung (Retrieval-Augmented Generation, RAG). Dabei werden relevante Dokumente aus einer Vektordatenbank auf der Grundlage von Benutzeranfragen abgerufen und in das Kontextfenster des Modells eingespeist.
• Speicher: Standard-LLMs sind zustandslos, d. h. sie vergessen frühere Interaktionen. LangChain bietet Speicherkomponenten, die es Chatbots ermöglichen, den Kontext über eine Unterhaltung hinweg beizubehalten und so die Kontinuität eines menschlichen Dialogs nachzuahmen.

Anwendungsfälle in der Praxis

LangChain ist maßgeblich daran beteiligt, generative KI aus experimentellen Notebooks in Produktionsumgebungen verschiedener Branchen zu bringen .

1. Chat with Your Data (RAG): Eine der häufigsten Anwendungen ist die Unternehmenssuche. Unternehmen nutzen LangChain, um interne Dokumentationen, PDFs oder technische Handbücher in einen durchsuchbaren Index aufzunehmen. Wenn ein Mitarbeiter eine Frage stellt, ruft das System den entsprechenden Absatz ab und speist ihn in das LLM ein, wodurch sichergestellt wird, dass die Antwort korrekt ist und auf Unternehmensdaten basiert und nicht aus der Luft gegriffen ist. Dies verbessert die Wissensvermittlung innerhalb von Organisationen erheblich.
2. Multimodale Analyse: LangChain kann Workflows orchestrieren, die Text mit anderen Modalitäten kombinieren, wie beispielsweise Computer Vision (CV). Ein Sicherheitssystem könnte beispielsweise die Objekterkennung nutzen, um unbefugtes Personal zu identifizieren, und dann einen LangChain-Agenten auslösen, der einen Vorfallsbericht erstellt und per E-Mail an einen Vorgesetzten sendet.

Integration mit Computer Vision

Die Synergie zwischen strukturierten visuellen Daten und sprachlichem Denken ist ein vielversprechender Entwicklungsbereich. Entwickler können leistungsstarke Modelle wie Ultralytics nutzen, um detaillierte Informationen aus Bildern zu extrahieren – wie Objektanzahl, -klassen oder -standorte – und diese strukturierten Daten zur weiteren Analyse oder Beschreibung in natürlicher Sprache an einen LangChain-Workflow weiterleiten.

Das Folgende Python Snippet zeigt, wie man erkannte Klassennamen mit einem Ultralytics extrahiert und einen textbasierten Kontext erstellt, der in eine nachgelagerte Sprachkette eingespeist werden kann.

from ultralytics import YOLO

# Load the YOLO26 model to generate structured data for a chain
model = YOLO("yolo26n.pt")

# Run inference on an image URL
results = model("https://ultralytics.com/images/bus.jpg")

# Extract detection class names to feed into a LangChain prompt
detections = [model.names[int(c)] for c in results[0].boxes.cls]

# Format the output as a context string for an LLM
chain_input = f"The image contains the following objects: {', '.join(detections)}."
print(chain_input)

Wichtige Begriffe unterscheiden

Es ist wichtig, LangChain von den Technologien zu unterscheiden, die es orchestriert:

• LangChain vs. LLMs: Das LLM (z. B. GPT-4 von OpenAI oder Claude Anthropic) ist das „Gehirn“, das Texte verarbeitet und generiert. LangChain ist das „Gerüst“ oder die Infrastruktur, die dieses Gehirn mit Datenvorverarbeitungs-Pipelines, APIs und Benutzeroberflächen verbindet.
• LangChain vs. Prompt Engineering: Prompt Engineering konzentriert sich auf die Erstellung der optimalen Texteingabe, um das beste Ergebnis aus einem Modell zu erzielen. LangChain automatisiert die Verwaltung dieser Eingabeaufforderungen und ermöglicht dynamische Eingabeaufforderungsvorlagen, die programmgesteuert mit Daten gefüllt werden, bevor sie an das Modell gesendet werden.

Entwickler, die robuste KI-Systeme aufbauen möchten, finden in der offiziellen LangChain-Dokumentation detaillierte technische Informationen, während die Ultralytics die notwendigen Tools bietet, um modernste Bildverarbeitungsfunktionen in diese intelligenten Workflows zu integrieren. Darüber hinaus können Benutzer die Ultralytics nutzen, um die Datensätze und Trainings-Pipelines zu verwalten , die in diese fortschrittlichen multimodalen Systeme einfließen.