OpenAIs GPT-4o zeigt das Potenzial von KI

Am Montag, dem 13. Mai 2024, kündigte OpenAI die Einführung seines neuen Spitzenmodells GPT-4o an, wobei das „o“ für „omni“ steht. GPT-4o ist ein fortschrittliches multimodales KI-Modell für die Verarbeitung von Text, Audio und Bildern in Echtzeit. Es bietet eine schnellere Verarbeitung, mehrsprachige Unterstützung und verbesserte Sicherheit.

Es bietet bisher ungesehene generative KI-Funktionen. Aufbauend auf den Stärken von ChatGPT im Dialog markieren die Funktionen von GPT-4o einen deutlichen Fortschritt darin, wie Menschen KI wahrnehmen. Du kannst jetzt mit GPT-4o sprechen, als wäre es eine echte Person. Sehen wir uns an, wozu GPT-4o genau fähig ist!

GPT-4o kennenlernen#

Beim Frühjahrs-Update von OpenAI wurde bekannt gegeben, dass GPT-4o zwar genauso intelligent wie GPT-4 ist, Daten jedoch schneller verarbeiten kann und besser für den Umgang mit Text, Bildern und Audio geeignet ist. Im Gegensatz zu früheren Veröffentlichungen, bei denen darauf geachtet wurde, die Modelle intelligenter zu machen, wurde bei dieser Veröffentlichung berücksichtigt, dass KI für die breite Öffentlichkeit einfacher nutzbar sein muss.

Abb. 1 OpenAIs Frühjahrs-Update

Der Sprachmodus von ChatGPT, der Ende letzten Jahres veröffentlicht wurde, kombinierte drei verschiedene Modelle: Eines transkribierte Spracheingaben, eines verstand und erzeugte schriftliche Antworten, und eines wandelte Text in Sprache um, damit du die Antwort hören konntest. Dieser Modus hatte mit Latenzproblemen zu kämpfen und wirkte nicht besonders natürlich. GPT-4o kann Text, Bilder und Audio nativ in einem einzigen Schritt verarbeiten, sodass der Eindruck eines natürlichen Gesprächs entsteht.

Anders als im Sprachmodus kannst du GPT-4o jetzt auch beim Sprechen unterbrechen, und es reagiert genauso wie ein Mensch. Es hält inne, hört zu und gibt anschließend in Echtzeit eine Antwort auf das, was du gesagt hast. Außerdem kann es Emotionen mit seiner Stimme ausdrücken und deinen Tonfall verstehen.

Spannende Funktionen von GPT-4o#

Die Modellbewertung von GPT-4o zeigt, wie fortschrittlich das Modell ist. Eines der interessantesten Ergebnisse war, dass GPT-4o die Spracherkennung im Vergleich zu Whisper-v3 in allen Sprachen deutlich verbessert, insbesondere in weniger verbreiteten Sprachen.

Die Leistung der Audio-Spracherkennung (ASR) misst, wie genau ein Modell gesprochene Sprache in Text umwandelt. Die Leistung von GPT-4o wird anhand der Wortfehlerrate (WER) erfasst. Sie gibt den Prozentsatz der falsch transkribierten Wörter an, wobei eine niedrigere WER eine bessere Qualität bedeutet. Das folgende Diagramm zeigt die niedrigere WER von GPT-4o in verschiedenen Regionen und verdeutlicht damit seine Wirksamkeit bei der Verbesserung der Spracherkennung in Sprachen mit geringeren Ressourcen.

Abb. 2 GPT-4o bietet in mehreren Sprachen eine überlegene Spracherkennung.

Hier sind einige weitere einzigartige Funktionen von GPT-4o:

• Schneller – GPT-4o ist doppelt so schnell wie GPT-4 Turbo. Audioeingaben kann es in nur 232 Millisekunden beantworten, ähnlich schnell wie Menschen in einem Gespräch reagieren.
• Kostengünstig – Die API-Version von GPT-4o ist 50 % günstiger als GPT-4 Turbo.
• Gedächtnis – GPT-4o kann den Gesprächskontext über verschiedene Unterhaltungen hinweg beibehalten. Es kann sich merken, worüber du in verschiedenen Chats sprichst.
• Mehrsprachig – GPT-4o wurde so trainiert, dass es in 50 verschiedenen Sprachen eine höhere Geschwindigkeit und Qualität bietet.

Beispiele für die Fähigkeiten von GPT-4o#

Du kannst GPT-4o jetzt auf deinem Smartphone öffnen, deine Kamera einschalten und GPT-4o wie einen Freund bitten, anhand deines Gesichtsausdrucks deine Stimmung zu erraten. GPT-4o kann dich über die Kamera sehen und antworten.

Abb. 3 GPT-4o erkennt die Stimmung eines Menschen per Video.

Du kannst GPT-4o sogar beim Lösen von Mathematikaufgaben einsetzen, indem du ihm per Video zeigst, was du schreibst. Alternativ kannst du deinen Bildschirm teilen, und GPT-4o kann zu einem hilfreichen Tutor auf Khan Academy werden, der dich wie in der folgenden Abbildung auffordert, verschiedene Teile eines Dreiecks in der Geometrie zu benennen.

Abb. 4 GPT-4o als Tutor auf Khan Academy.

Neben der Unterstützung von Kindern bei Mathematikaufgaben können Entwickler mit GPT-4o Gespräche führen, um ihren Code zu debuggen. Möglich wird das durch die Einführung von ChatGPT als Desktop-App. Wenn du während des Gesprächs mit der GPT-4o-Sprach-App für den Desktop deinen Code mit CTRL „C“ markierst und kopierst, kann die App ihn lesen. Du kannst GPT-4o auch verwenden, um Gespräche zwischen Entwicklern zu übersetzen, die verschiedene Sprachen sprechen.

Die Möglichkeiten mit GPT-4o scheinen grenzenlos. Eine der interessantesten Demonstrationen von OpenAI verwendete zwei Smartphones, um zu zeigen, wie GPT-4o mit verschiedenen Instanzen seiner selbst spricht und gemeinsam singt.

Abb. 5 KI spricht und singt mit KI.

Anwendungen von GPT-4o#

Wie eine Demonstration gezeigt hat, kann GPT-4o die Welt für Menschen mit Sehbeeinträchtigungen zugänglicher machen. Es kann ihnen helfen, sicherer und selbstständiger zu interagieren und sich fortzubewegen. Nutzer können beispielsweise ihr Video einschalten und GPT-4o einen Blick auf die Straße zeigen. GPT-4o kann dann die Umgebung in Echtzeit beschreiben, etwa Hindernisse erkennen, Straßenschilder lesen oder den Weg zu einem bestimmten Ort weisen. Es kann ihnen sogar dabei helfen, ein Taxi heranzuwinken, indem es sie benachrichtigt, wenn sich ein Taxi nähert.

Abb. 6 GPT-4o meldet das Herannahen eines Taxis.

Ebenso kann GPT-4o mit seinen fortschrittlichen Funktionen verschiedene Branchen verändern. Im Einzelhandel kann es den Kundenservice verbessern, indem es in Echtzeit Unterstützung bietet, Fragen beantwortet und Kunden dabei hilft, Produkte online und im Geschäft zu finden. Angenommen, du siehst ein Regal voller Produkte und kannst das gesuchte Produkt nicht ausfindig machen – GPT-4o kann dir helfen.

Im Gesundheitswesen kann GPT-4o die Diagnostik unterstützen, indem es Patientendaten analysiert, anhand von Symptomen mögliche Erkrankungen vorschlägt und Hinweise zu Behandlungsoptionen gibt. Es kann medizinisches Fachpersonal auch unterstützen, indem es Patientenakten zusammenfasst, schnellen Zugriff auf medizinische Fachliteratur ermöglicht und sogar in Echtzeit Sprachen übersetzt, um die Kommunikation mit Patienten zu erleichtern, die andere Sprachen sprechen. Dies sind nur einige Beispiele. Die Anwendungen von GPT-4o erleichtern den Alltag durch maßgeschneiderte, kontextbezogene Unterstützung und bauen Barrieren beim Zugang zu Informationen und bei der Kommunikation ab.

GPT-4o und Sicherheit des Modells#

Wie die vorherigen GPT-Versionen, die das Leben Hunderter Millionen Menschen beeinflusst haben, wird GPT-4o wahrscheinlich weltweit mit Audio und Video in Echtzeit interagieren. Dadurch wird Sicherheit zu einem entscheidenden Faktor für diese Anwendungen. OpenAI hat bei der Entwicklung von GPT-4o großen Wert darauf gelegt, potenzielle Risiken zu minimieren.

Um Sicherheit und Zuverlässigkeit zu gewährleisten, hat OpenAI strenge Sicherheitsmaßnahmen umgesetzt. Dazu gehören das Filtern der Trainingsdaten, die Verfeinerung des Modellverhaltens nach dem Training und die Integration neuer Sicherheitssysteme zur Verwaltung von Sprachausgaben. Darüber hinaus wurde GPT-4o von mehr als 70 externen Experten aus Bereichen wie Sozialpsychologie, Verzerrungen und Fairness sowie Desinformation umfassend getestet. Durch externe Tests wird sichergestellt, dass durch die neuen Funktionen eingeführte oder verstärkte Risiken erkannt und behoben werden.

Um hohe Sicherheitsstandards aufrechtzuerhalten, veröffentlicht OpenAI die Funktionen von GPT-4o in den kommenden Wochen schrittweise. Eine stufenweise Einführung ermöglicht es OpenAI, die Leistung zu überwachen, Probleme zu beheben und Nutzerfeedback zu sammeln. Dieser sorgfältige Ansatz stellt sicher, dass GPT-4o fortschrittliche Funktionen bietet und gleichzeitig höchste Standards für Sicherheit und ethische Nutzung einhält.

Probiere GPT-4o selbst aus#

GPT-4o ist kostenlos verfügbar. Um die oben beschriebenen Echtzeit-Unterhaltungen auszuprobieren, kannst du die ChatGPT-App direkt auf dein Smartphone aus dem Google Play Store oder dem Apple App Store herunterladen.

Nach der Anmeldung kannst du GPT-4o aus der angezeigten Liste auswählen, indem du oben rechts auf dem Bildschirm auf die drei Punkte tippst. Nachdem du zu einem für GPT-4o aktivierten Chat navigiert hast, werden dir durch Tippen auf das Pluszeichen unten links auf dem Bildschirm mehrere Eingabemöglichkeiten angezeigt. Unten rechts auf dem Bildschirm siehst du ein Kopfhörersymbol. Wenn du das Kopfhörersymbol auswählst, wirst du gefragt, ob du eine freihändige Version von GPT-4o ausprobieren möchtest. Nach deiner Zustimmung kannst du GPT-4o wie unten gezeigt ausprobieren.

Abb. 7. GPT-4o in der mobilen ChatGPT-App ausprobieren.

Wenn du die fortschrittlichen Funktionen von GPT-4o in deine eigenen Projekte integrieren möchtest, steht es Entwicklern als API zur Verfügung. Damit kannst du die leistungsstarke Spracherkennung, die mehrsprachige Unterstützung und die Echtzeit-Dialogfunktionen von GPT-4o in deine Anwendungen integrieren. Mit der API kannst du die Nutzererfahrung verbessern, intelligentere Apps entwickeln und modernste KI-Technologie in verschiedene Branchen bringen.

GPT-4o: Noch nicht ganz menschlich#

Obwohl GPT-4o deutlich fortschrittlicher ist als frühere KI-Modelle, solltest du bedenken, dass GPT-4o eigene Einschränkungen hat. OpenAI hat darauf hingewiesen, dass das Modell während eines Gesprächs manchmal zufällig die Sprache wechselt, etwa von Englisch zu Französisch. Außerdem wurde beobachtet, dass GPT-4o gelegentlich fehlerhaft zwischen Sprachen übersetzt. Je mehr Menschen das Modell ausprobieren, desto besser werden wir verstehen, worin GPT-4o besonders gut ist und wo es noch verbessert werden muss.

Das Wichtigste in Kürze#

OpenAIs GPT-4o eröffnet der KI mit seiner fortschrittlichen Verarbeitung von Text, Bildern und Audio neue Möglichkeiten und ermöglicht natürliche, menschenähnliche Interaktionen. Es zeichnet sich durch Geschwindigkeit, Kosteneffizienz und mehrsprachige Unterstützung aus. GPT-4o ist ein vielseitiges Werkzeug für Bildung, Barrierefreiheit und Unterstützung in Echtzeit. Während Nutzer die Fähigkeiten von GPT-4o erkunden, wird ihr Feedback dessen Weiterentwicklung vorantreiben. GPT-4o zeigt, dass KI unsere Welt tatsächlich verändert und zu einem Teil unseres Alltags wird.

Entdecke unser GitHub-Repository und tritt unserer Community bei, um tiefer in die Welt der KI einzutauchen. Besuche unsere Lösungsseiten, um zu sehen, wie KI Branchen wie die Fertigungsindustrie und die Landwirtschaft verändert.