OpenAIs GPT-4o zeigt das Potenzial von KI

Am Montag, dem 13. Mai 2024, kündigte OpenAI die Veröffentlichung seines neuen Flaggschiffmodells GPT-4o an. Das „o“ steht für „omni“. GPT-4o ist ein fortschrittliches multimodales KI-Modell für die Interaktion mit Text, Audio und Bildern in Echtzeit. Es bietet schnellere Verarbeitung, mehrsprachige Unterstützung und erhöhte Sicherheit.

Es eröffnet neue Möglichkeiten für generative KI. Aufbauend auf den Stärken von ChatGPT im Gespräch markieren die Funktionen von GPT-4o einen großen Fortschritt darin, wie Menschen KI wahrnehmen. Wir können jetzt mit GPT-4o sprechen, als wäre es eine echte Person. Sehen wir uns an, was GPT-4o kann!

GPT-4o kennenlernen#

Bei OpenAIs Frühjahrsankündigung wurde bekannt gegeben, dass GPT-4o zwar genauso intelligent ist wie GPT-4, Daten aber schneller verarbeiten kann und besser für den Umgang mit Text, Bildern und Audio geeignet ist. Anders als frühere Versionen, bei denen es vor allem darum ging, die Modelle intelligenter zu machen, wurde diese Version mit dem Ziel entwickelt, KI für die breite Öffentlichkeit einfacher nutzbar zu machen.

Abb. 1 Frühjahrsvorstellung von OpenAI

Im Sprachmodus von ChatGPT, der Ende letzten Jahres veröffentlicht wurde, arbeiteten drei verschiedene Modelle zusammen: Eines transkribierte Spracheingaben, eines verstand und erzeugte schriftliche Antworten und ein weiteres wandelte Text in Sprache um, damit der Nutzer die Antwort hören konnte. Dieser Modus hatte mit Latenzproblemen zu kämpfen und fühlte sich nicht besonders natürlich an. GPT-4o kann Text, Bilder und Audio direkt in einem Schritt verarbeiten und so den Eindruck vermitteln, an einem natürlichen Gespräch teilzunehmen.

Anders als im Sprachmodus kannst du GPT-4o jetzt auch unterbrechen, während es spricht, und es reagiert dann wie ein Mensch. Es hält inne, hört zu und antwortet anschließend in Echtzeit auf das, was du gesagt hast. Außerdem kann es Gefühle mit seiner Stimme ausdrücken und deinen Tonfall verstehen.

Spannende Funktionen von GPT-4o#

Die Modellbewertung von GPT-4o zeigt, wie fortschrittlich das Modell ist. Besonders bemerkenswert war, dass GPT-4o die Spracherkennung im Vergleich zu Whisper-v3 in allen Sprachen deutlich verbessert, insbesondere in weniger verbreiteten Sprachen.

Die Leistung der automatischen Spracherkennung (ASR) misst, wie genau ein Modell gesprochene Sprache in Text umwandelt. Die Leistung von GPT-4o wird anhand der Wortfehlerrate (WER) erfasst. Sie gibt den Anteil falsch transkribierter Wörter an; eine niedrigere WER bedeutet eine höhere Qualität. Das folgende Diagramm zeigt die niedrigere WER von GPT-4o in verschiedenen Regionen und veranschaulicht, wie gut das Modell die Spracherkennung für Sprachen mit weniger verfügbaren Ressourcen verbessert.

Abb. 2 GPT-4o bietet eine bessere Spracherkennung in mehreren Sprachen.

Hier sind einige weitere besondere Funktionen von GPT-4o:

• Schneller – GPT-4o ist doppelt so schnell wie GPT-4 Turbo. Das Modell kann auf Spracheingaben in nur 232 Millisekunden reagieren, ähnlich schnell wie Menschen in einem Gespräch.
• Kostengünstig – Die API-Version von GPT-4o ist 50 % günstiger als GPT-4 Turbo.
• Gedächtnis – GPT-4o kann den Gesprächsverlauf über verschiedene Unterhaltungen hinweg berücksichtigen. Das Modell kann sich merken, worüber du in verschiedenen Chats sprichst.
• Mehrsprachig – GPT-4o wurde darauf trainiert, in 50 verschiedenen Sprachen schneller und qualitativ hochwertiger zu arbeiten.

Beispiele für die Fähigkeiten von GPT-4o#

Du kannst GPT-4o jetzt auf deinem Smartphone öffnen, die Kamera einschalten und das Modell wie einen Freund bitten, anhand deines Gesichtsausdrucks deine Stimmung zu erraten. GPT-4o kann dich durch die Kamera sehen und antworten.

Abb. 3 GPT-4o erkennt die Stimmung eines Menschen anhand eines Videos.

Du kannst dir sogar bei Mathematikaufgaben helfen lassen, indem du GPT-4o per Video zeigst, was du gerade schreibst. Alternativ kannst du deinen Bildschirm teilen. Dann kann GPT-4o als hilfreicher Tutor auf der Khan Academy auftreten und dich wie unten gezeigt bitten, verschiedene Teile eines Dreiecks in der Geometrie zu benennen.

Abb. 4 GPT-4o als Tutor auf der Khan Academy.

Neben der Unterstützung von Kindern beim Rechnen können Entwickler mit GPT-4o Gespräche führen, um ihren Code zu debuggen. Möglich wird das durch die Einführung von ChatGPT als Desktop-App. Wenn du in der Desktop-Sprach-App von GPT-4o während eines Gesprächs deinen Code mit Ctrl+C markierst und kopierst, kann die App deinen Code lesen. Du könntest sie auch nutzen, um Gespräche zwischen Entwicklern zu übersetzen, die verschiedene Sprachen sprechen.

Die möglichen Einsatzgebiete sind vielfältig. Eine der interessantesten Demos von OpenAI nutzte zwei Smartphones, um zu zeigen, wie GPT-4o mit verschiedenen Instanzen seiner selbst spricht und gemeinsam mit ihnen singt.

Abb. 5 KI spricht und singt mit KI.

Anwendungen von GPT-4o#

Wie eine Demo zeigte, kann GPT-4o die Welt für Menschen mit Sehbehinderungen zugänglicher machen. Das Modell kann ihnen helfen, sicherer und selbstständiger mit ihrer Umgebung zu interagieren und sich darin zu bewegen. Nutzer können zum Beispiel die Videofunktion einschalten und GPT-4o die Straßenansicht zeigen. GPT-4o kann die Umgebung dann in Echtzeit beschreiben, etwa Hindernisse erkennen, Straßenschilder lesen oder den Weg zu einem bestimmten Ort weisen. Das Modell kann sogar dabei helfen, ein Taxi heranzuwinken, indem es die Nutzer benachrichtigt, wenn sich ein Taxi nähert.

Abb. 6 GPT-4o weist auf ein herannahendes Taxi hin.

GPT-4o lässt sich auch branchenübergreifend einsetzen. Im Einzelhandel kann es den Kundenservice verbessern, indem es in Echtzeit Unterstützung bietet, Fragen beantwortet und Kunden dabei hilft, Produkte online und im Geschäft zu finden. Stell dir vor, du schaust auf ein Regal voller Produkte und findest das gesuchte Produkt nicht – GPT-4o kann dir dabei helfen.

Im Gesundheitswesen kann GPT-4o bei der Diagnostik unterstützen, indem es Patientendaten analysiert, anhand von Symptomen mögliche Erkrankungen vorschlägt und Hinweise zu Behandlungsmöglichkeiten gibt. Das Modell kann medizinisches Fachpersonal außerdem unterstützen, indem es Patientenakten zusammenfasst, schnellen Zugriff auf medizinische Fachliteratur ermöglicht und sogar in Echtzeit Gespräche mit Patienten übersetzt, die andere Sprachen sprechen. Das sind nur einige Beispiele. Die Anwendungen von GPT-4o erleichtern den Alltag durch maßgeschneiderte, kontextbezogene Unterstützung und bauen Hindernisse beim Zugang zu Informationen und bei der Kommunikation ab.

GPT-4o und die Modellsicherheit#

Wie schon die vorherigen GPT-Versionen, die das Leben von Hunderten Millionen Menschen beeinflusst haben, wird GPT-4o voraussichtlich weltweit mit Audio und Video in Echtzeit interagieren. Sicherheit ist daher ein entscheidender Faktor für diese Anwendungen. OpenAI hat bei der Entwicklung von GPT-4o besonders darauf geachtet, mögliche Risiken zu minimieren.

Um Sicherheit und Zuverlässigkeit zu gewährleisten, hat OpenAI strenge Sicherheitsmaßnahmen eingeführt. Dazu gehören das Filtern von Trainingsdaten, die Verbesserung des Modellverhaltens nach dem Training und neue Sicherheitssysteme zur Steuerung von Sprachausgaben. Außerdem wurde GPT-4o von mehr als 70 externen Experten aus Bereichen wie Sozialpsychologie, Voreingenommenheit und Fairness sowie Desinformation umfassend getestet. Durch diese externen Tests lassen sich Risiken erkennen und angehen, die durch die neuen Funktionen entstehen oder verstärkt werden.

Um hohe Sicherheitsstandards einzuhalten, führt OpenAI die Funktionen von GPT-4o in den kommenden Wochen schrittweise ein. Eine schrittweise Einführung ermöglicht es OpenAI, die Leistung zu überwachen, mögliche Probleme zu beheben und Rückmeldungen von Nutzern einzuholen. Dieser sorgfältige Ansatz stellt sicher, dass GPT-4o fortschrittliche Fähigkeiten bietet und zugleich höchste Standards in puncto Sicherheit und ethischer Nutzung erfüllt.

Probiere GPT-4o selbst aus#

GPT-4o ist kostenlos verfügbar. Um die oben beschriebenen Echtzeit-Unterhaltungen auszuprobieren, kannst du die ChatGPT-App direkt aus dem Google Play Store oder dem Apple App Store auf dein Smartphone herunterladen.

Nach der Anmeldung kannst du GPT-4o in der angezeigten Liste auswählen. Tippe dazu auf die drei Punkte oben rechts auf dem Bildschirm. Öffne anschließend einen Chat mit GPT-4o und tippe auf das Pluszeichen unten links, um verschiedene Eingabemöglichkeiten anzuzeigen. Unten rechts auf dem Bildschirm findest du ein Kopfhörersymbol. Wenn du darauf tippst, wirst du gefragt, ob du GPT-4o freihändig nutzen möchtest. Wenn du zustimmst, kannst du GPT-4o wie unten gezeigt ausprobieren.

Abb. 7: GPT-4o in der mobilen ChatGPT-App ausprobieren.

Wenn du die fortschrittlichen Funktionen von GPT-4o in deine eigenen Projekte integrieren möchtest, steht Entwicklern eine API zur Verfügung. Damit kannst du leistungsstarke Spracherkennung, mehrsprachige Unterstützung und Echtzeit-Unterhaltungen mit GPT-4o in deine Anwendungen einbinden. Mithilfe der API kannst du die Nutzererfahrung verbessern, intelligentere Apps entwickeln und modernste KI-Technologie in verschiedenen Bereichen einsetzen.

GPT-4o: noch nicht ganz menschlich#

GPT-4o ist zwar deutlich fortschrittlicher als frühere KI-Modelle, doch es ist wichtig, sich daran zu erinnern, dass GPT-4o auch eigene Einschränkungen hat. OpenAI hat darauf hingewiesen, dass das Modell beim Sprechen manchmal willkürlich die Sprache wechseln kann, etwa von Englisch zu Französisch. Außerdem hat GPT-4o Sprachen mitunter falsch übersetzt. Je mehr Menschen das Modell ausprobieren, desto besser werden wir verstehen, worin GPT-4o besonders gut ist und wo es noch verbessert werden muss. Für Bildverarbeitungsaufgaben wie die Objekterkennung werden neuere OpenAI-Modelle wie GPT-6.1 Sol und GPT-6 Astra in der VLM-Bestenliste mit anderen Vision-Language-Modellen verglichen.

Das Wichtigste#

GPT-4o von OpenAI eröffnet der KI neue Möglichkeiten: Mit fortschrittlicher Text-, Bild- und Audioverarbeitung ermöglicht es natürliche, menschenähnliche Interaktionen. Es überzeugt durch Geschwindigkeit, Kosteneffizienz und mehrsprachige Unterstützung. GPT-4o ist ein vielseitiges Werkzeug für Bildung, Barrierefreiheit und Unterstützung in Echtzeit. Während Nutzer die Fähigkeiten von GPT-4o erkunden, wird ihr Feedback die Weiterentwicklung vorantreiben. GPT-4o zeigt, wie KI zu einem Teil unseres Alltags wird.

Sieh dir unser GitHub-Repository an und werde Teil unserer Community, um tiefer in die Welt der KI einzutauchen. Auf unseren Lösungsseiten erfährst du, wie KI Branchen wie die Fertigung und die Landwirtschaft verändert.