Natürliche Sprachverarbeitung und computergestützte Bildverarbeitung verbinden

Verarbeitung natürlicher Sprache (NLP) und Computer Vision (CV) sind zwei unterschiedliche Bereiche der künstlichen Intelligenz (AI), die in den letzten Jahren stark an Popularität gewonnen haben. Dank der Fortschritte in der künstlichen Intelligenz sind diese beiden Bereiche heute stärker miteinander verknüpft als je zuvor.

Ein hervorragendes Beispiel dafür ist die automatische Bildbeschreibung. Mit Computer Vision lassen sich die Inhalte eines Bildes analysieren und verstehen, während die Verarbeitung natürlicher Sprache eine Beschreibung zu dessen Inhalt generieren kann. Automatische Bildbeschreibungen werden häufig auf Social-Media-Plattformen eingesetzt, um die Barrierefreiheit zu verbessern, sowie in Content-Management-Systemen, um Bilder effizient zu organisieren und mit Tags zu versehen.

Innovationen in NLP und Vision AI haben in vielen Branchen zu zahlreichen solchen Anwendungsfällen geführt. In diesem Artikel werfen wir einen genaueren Blick auf NLP und Computer Vision und erläutern, wie beide Technologien funktionieren. Außerdem sehen wir uns interessante Anwendungen an, die beide Technologien gemeinsam nutzen. Legen wir los!

NLP und Vision AI verstehen#

NLP konzentriert sich auf die Interaktion zwischen Computern und menschlicher Sprache. Es ermöglicht Maschinen, Text oder Sprache auf sinnvolle Weise zu verstehen, zu interpretieren und Text zu generieren. Es kann für Aufgaben wie Übersetzung, Sentimentanalyse oder Zusammenfassung eingesetzt werden.

Computer Vision hilft Maschinen dagegen dabei, Bilder und Videos zu analysieren und zu verarbeiten. Sie kann für Aufgaben wie das Erkennen von Objekten in einem Foto, Gesichtserkennung, Objektverfolgung oder Bildklassifizierung eingesetzt werden. Vision-AI-Technologie ermöglicht es Maschinen, die visuelle Welt besser zu verstehen und mit ihr zu interagieren.

Abb. 1 Ein Beispiel für Bildklassifizierung.

In Verbindung mit Computer Vision kann NLP visuellen Daten durch die Kombination von Text und Bildern Bedeutung verleihen und so ein tieferes Verständnis ermöglichen. Wie das Sprichwort sagt: „Ein Bild sagt mehr als tausend Worte.“ Zusammen mit Text wird es noch aussagekräftiger und liefert umfassendere Erkenntnisse.

Beispiele für das Zusammenspiel von NLP und Computer Vision#

Du hast NLP und Computer Vision wahrscheinlich schon in alltäglichen Anwendungen gemeinsam genutzt, ohne es zu bemerken – etwa wenn dein Smartphone den Text auf einem Bild übersetzt.

Tatsächlich nutzt Google Translate sowohl die Verarbeitung natürlicher Sprache als auch Computer Vision, um Text aus Bildern zu übersetzen. Wenn du ein Foto von einem Straßenschild in einer anderen Sprache aufnimmst, erkennt und extrahiert Computer Vision den Text, während NLP ihn in deine bevorzugte Sprache übersetzt.

NLP und CV arbeiten zusammen, um den Vorgang reibungslos und effizient zu gestalten. So können Nutzer Informationen in verschiedenen Sprachen in Echtzeit verstehen und mit ihnen interagieren. Diese nahtlose Verbindung der Technologien baut Kommunikationsbarrieren ab.

Abb. 2. Googles Translate-Funktion.

Hier sind einige weitere Anwendungen, bei denen NLP und Computer Vision zusammenarbeiten:

• Selbstfahrende Autos: CV kann verwendet werden, um Verkehrsschilder, Fahrspuren und Hindernisse zu erkennen, während NLP gesprochene Befehle oder den Text auf Verkehrsschildern verarbeiten kann.
• Dokumenten-leser: Vision AI kann Text aus gescannten Dokumenten oder handschriftlichen Aufzeichnungen erkennen, und die Verarbeitung natürlicher Sprache kann die Informationen interpretieren und zusammenfassen.
• Visuelle Suche in Shopping-Apps: Computer Vision kann Produkte auf Fotos identifizieren, während NLP Suchbegriffe verarbeitet, um Empfehlungen zu verbessern.
• Lernwerkzeuge: CV kann handschriftliche Notizen oder visuelle Eingaben erkennen, und NLP kann auf Grundlage des Inhalts Erklärungen oder Feedback liefern.

Zentrale Konzepte, die Computer Vision und NLP verbinden#

Nachdem wir gesehen haben, wie Computer Vision und die Verarbeitung natürlicher Sprache eingesetzt werden, sehen wir uns nun an, wie sie zusammenwirken, um domänenübergreifende KI zu ermöglichen.

Domänenübergreifende KI verbindet das visuelle Verständnis von Computer Vision mit dem Sprachverständnis von NLP, um Informationen aus Texten und Bildern zu verarbeiten und miteinander zu verknüpfen. Im Gesundheitswesen kann domänenübergreifende KI beispielsweise dabei helfen, ein Röntgenbild zu analysieren und eine verständliche schriftliche Zusammenfassung möglicher Auffälligkeiten zu erstellen, sodass Ärzte schneller und präziser entscheiden können.

Verständnis natürlicher Sprache (NLU)#

Das Verständnis natürlicher Sprache ist ein spezieller Teilbereich von NLP, der sich darauf konzentriert, Bedeutung aus Text zu interpretieren und zu extrahieren, indem Absicht, Kontext, Semantik, Tonfall und Struktur analysiert werden. Während NLP Rohtext verarbeitet, ermöglicht NLU Maschinen, menschliche Sprache effektiver zu verstehen. Beispielsweise ist das Parsen eine NLU-Technik, die geschriebenen Text in ein strukturiertes Format umwandelt, das Maschinen verstehen können.

Abb. 3. Das Verhältnis zwischen NLP und NLU.

NLU arbeitet mit Computer Vision zusammen, wenn visuelle Daten Text enthalten, der verstanden werden muss. Computer Vision extrahiert mithilfe von Technologien wie der optischen Zeichenerkennung (OCR) Text aus Bildern, Dokumenten oder Videos. Dazu gehören beispielsweise das Scannen eines Belegs, das Lesen von Text auf einem Schild oder die Digitalisierung handschriftlicher Notizen.

NLU verarbeitet den extrahierten Text anschließend, um seine Bedeutung, seinen Kontext und seine Absicht zu verstehen. Durch diese Kombination können Systeme mehr leisten, als nur Text zu erkennen. Sie können Ausgaben anhand von Belegen kategorisieren oder Tonfall und Stimmung analysieren. Gemeinsam wandeln Computer Vision und NLU visuellen Text in bedeutungsvolle, nutzbare Informationen um.

Prompt Engineering#

Prompt Engineering bezeichnet den Prozess, klare, präzise und detaillierte Eingabeaufforderungen zu entwerfen, die generative KI-Systeme wie große Sprachmodelle (LLMs) und Vision-Language-Modelle (VLMs) bei der Erstellung gewünschter Ausgaben anleiten. Diese Prompts dienen als Anweisungen, die dem KI-Modell helfen, die Absicht des Nutzers zu verstehen.

Effektives Prompt Engineering erfordert ein Verständnis der Fähigkeiten des Modells sowie Eingaben, die seine Fähigkeit maximieren, genaue, kreative oder aufschlussreiche Antworten zu generieren. Das ist besonders wichtig bei KI-Modellen, die sowohl mit Text als auch mit Bildern arbeiten.

Nehmen wir als Beispiel das DALL·E-Modell von OpenAI. Wenn du es bittest, „ein fotorealistisches Bild eines Astronauten zu erstellen, der auf einem Pferd reitet“, kann es genau das auf Grundlage deiner Beschreibung generieren. Diese Fähigkeit ist in Bereichen wie Grafikdesign äußerst nützlich, da Fachleute Textideen schnell in visuelle Entwürfe umwandeln, Zeit sparen und ihre Produktivität steigern können.

Abb. 4. Ein mit OpenAIs DALL-E erstelltes Bild.

Vielleicht fragst du dich, wie das mit Computer Vision zusammenhängt – ist das nicht einfach generative KI? Tatsächlich sind die beiden eng miteinander verbunden. Generative KI baut auf den Grundlagen von Computer Vision auf, um vollständig neue visuelle Ausgaben zu erstellen.

Generative KI-Modelle, die Bilder aus Text-Prompts erstellen, werden auf großen Datensätzen aus Bildern trainiert, die mit textlichen Beschreibungen verknüpft sind. Dadurch lernen sie die Beziehungen zwischen Sprache und visuellen Konzepten wie Objekten, Texturen und räumlichen Beziehungen.

Diese Modelle interpretieren visuelle Daten nicht auf dieselbe Weise wie herkömmliche Computer-Vision-Systeme, etwa beim Erkennen von Objekten in realen Bildern. Stattdessen nutzen sie ihr erlerntes Verständnis dieser Konzepte, um auf Grundlage von Prompts neue Bilder zu generieren. Durch die Kombination dieses Wissens mit sorgfältig formulierten Prompts kann generative KI realistische und detaillierte Bilder erzeugen, die der Eingabe des Nutzers entsprechen.

Fragebeantwortung (QA)#

Fragebeantwortungssysteme sind darauf ausgelegt, Fragen in natürlicher Sprache zu verstehen und genaue, relevante Antworten zu liefern. Sie nutzen Techniken wie Informationsabruf, semantisches Verständnis und Deep Learning, um Anfragen zu interpretieren und darauf zu antworten.

Fortschrittliche Modelle wie OpenAIs GPT-4o können visuelle Fragebeantwortung (VQA) verarbeiten, das heißt, sie können Bilder analysieren und Fragen dazu beantworten. GPT-4o führt jedoch nicht direkt Computer-Vision-Aufgaben aus. Stattdessen verwendet es einen spezialisierten Bild-Encoder, um Bilder zu verarbeiten, Merkmale zu extrahieren und sie mit seinem Sprachverständnis zu kombinieren, um Antworten zu liefern.

Abb. 5. Die Fähigkeit von ChatGPT zur visuellen Fragebeantwortung. Bild vom Autor.

Andere Systeme gehen noch einen Schritt weiter, indem sie Computer-Vision-Funktionen vollständig integrieren. Diese Systeme können Bilder oder Videos direkt analysieren, um Objekte, Szenen oder Text zu identifizieren. In Verbindung mit der Verarbeitung natürlicher Sprache können sie komplexere Fragen zu visuellen Inhalten beantworten. Beispielsweise können sie durch die Erkennung und Interpretation visueller Elemente Fragen wie „Welche Objekte befinden sich in diesem Bild?“ oder „Wer ist in dieser Aufnahme zu sehen?“ beantworten.

Zero-Shot-Lernen (ZSL)#

Zero-Shot-Lernen (ZSL) ist eine Methode des maschinellen Lernens, mit der KI-Modelle neue, unbekannte Aufgaben bearbeiten können, ohne speziell dafür trainiert worden zu sein. Dazu werden zusätzliche Informationen wie Beschreibungen oder semantische Beziehungen genutzt, um bereits Bekanntes des Modells (bekannte Klassen) mit neuen, unbekannten Kategorien zu verknüpfen.

Im Bereich der Verarbeitung natürlicher Sprache hilft ZSL Modellen, Themen zu verstehen und mit ihnen zu arbeiten, für die sie nicht trainiert wurden, indem sie sich auf Beziehungen zwischen Wörtern und Konzepten stützen. Ebenso ermöglicht ZSL in der Computer Vision Modellen, Objekte oder Szenen zu erkennen, denen sie zuvor noch nicht begegnet sind, indem visuelle Merkmale wie Flügel oder Federn mit bekannten Konzepten wie Vögeln verknüpft werden.

ZSL verbindet NLP und CV, indem es Sprachverständnis mit visueller Erkennung kombiniert, und eignet sich daher besonders für Aufgaben, die beides umfassen. Bei der visuellen Fragebeantwortung kann ein Modell beispielsweise ein Bild analysieren und gleichzeitig eine dazugehörige Frage verstehen, um eine genaue Antwort zu liefern. Auch für Aufgaben wie die Bildbeschreibung ist diese Methode nützlich.

Wichtige Erkenntnisse#

Die Verbindung von Verarbeitung natürlicher Sprache und Computer Vision hat zu KI-Systemen geführt, die sowohl Texte als auch Bilder verstehen können. Diese Kombination wird in vielen Branchen eingesetzt – von der Unterstützung selbstfahrender Autos beim Lesen von Verkehrsschildern bis zur Verbesserung medizinischer Diagnosen und zur Erhöhung der Sicherheit in sozialen Medien. Mit der Weiterentwicklung dieser Technologien werden sie das Leben weiterhin erleichtern und neue Möglichkeiten in zahlreichen Bereichen eröffnen. Weitere Informationen findest du in unserem GitHub-Repository. Beteilige dich außerdem an unserer Community. Entdecke auf unseren Lösungsseiten KI-Anwendungen für selbstfahrende Autos und die Landwirtschaft. 🚀