OpenAIs GPT-4o präsentiert das Potenzial von KI

Am Montag, den 13. Mai 2024, kündigte OpenAI die Einführung seines neuen Flaggschiffmodells GPT-4o an, bei dem das „o“ für „omni“ steht. GPT-4o ist ein fortschrittliches multimodales AI-Modell für Text-, Audio- und Vision-Interaktionen in Echtzeit, das eine schnellere Verarbeitung, mehrsprachige Unterstützung und verbesserte Sicherheit bietet.

Es bringt bisher nie dagewesene generative KI-Fähigkeiten mit sich. Aufbauend auf den Konversationsstärken von ChatGPT markieren die Funktionen von GPT-4o einen wesentlichen Schritt nach vorn in der Art und Weise, wie Menschen KI wahrnehmen. Wir können jetzt mit GPT-4o sprechen, als wäre es eine echte Person. Lass uns eintauchen und genau sehen, wozu GPT-4o fähig ist!

GPT-4o kennenlernen#

Beim Frühjahrs-Update von OpenAI wurde enthüllt, dass GPT-4o zwar genauso intelligent ist wie GPT-4, aber Daten schneller verarbeiten kann und besser für die Handhabung von Text, Bild und Audio gerüstet ist. Im Gegensatz zu früheren Veröffentlichungen, die sich darauf konzentrierten, die Modelle intelligenter zu machen, wurde diese Version mit dem Ziel entwickelt, KI für ein breites Publikum einfacher nutzbar zu machen.

Abb. 1: OpenAIs Frühlings-Update

Der Sprachmodus von ChatGPT, der Ende letzten Jahres veröffentlicht wurde, beinhaltete das Zusammenspiel von drei verschiedenen Modellen: eines zur Transkription von Spracheingaben, eines zum Verstehen und Generieren schriftlicher Antworten und eines zur Umwandlung von Text in Sprache, damit der Benutzer eine Antwort hören konnte. Dieser Modus hatte mit Latenzproblemen zu kämpfen und fühlte sich nicht sehr natürlich an. GPT-4o kann Text, Bild und Audio nativ in einem Durchgang verarbeiten, um dem Benutzer den Eindruck zu vermitteln, dass er an einer natürlichen Konversation teilnimmt.

Im Gegensatz zum Sprachmodus kannst du GPT-4o jetzt auch unterbrechen, während es spricht, und es wird genauso reagieren, wie eine Person es tun würde. Es hält inne, hört zu und gibt dann eine Echtzeit-Antwort basierend auf dem, was du gesagt hast. Es kann außerdem Emotionen durch seine Stimme ausdrücken und auch deinen Tonfall verstehen.

Aufregende GPT-4o-Funktionen#

Die Modellbewertung von GPT-4o zeigt, wie fortschrittlich es ist. Eines der interessantesten Ergebnisse war, dass GPT-4o die Spracherkennung im Vergleich zu Whisper-v3 in allen Sprachen erheblich verbessert, insbesondere bei Sprachen, die weniger häufig verwendet werden.

Die Leistung der Audio-ASR (Automatic Speech Recognition) misst, wie genau ein Modell gesprochene Sprache in Text umwandelt. Die Leistung von GPT-4o wird anhand der Word Error Rate (WER) verfolgt, die den Prozentsatz der falsch transkribierten Wörter angibt (ein niedrigerer WER bedeutet eine bessere Qualität). Das Diagramm unten zeigt den niedrigeren WER von GPT-4o in verschiedenen Regionen und demonstriert seine Effektivität bei der Verbesserung der Spracherkennung für Sprachen mit geringeren Ressourcen.

Abb. 2: GPT-4o verfügt über eine überlegene Spracherkennung in mehreren Sprachen.

Hier ist ein Blick auf einige weitere einzigartige Funktionen von GPT-4o:

• Schneller - Es ist doppelt so schnell wie GPT-4 Turbo. Es kann auf Audioeingaben in nur 232 Millisekunden reagieren, ähnlich wie bei menschlichen Konversationsreaktionszeiten.
• Kosteneffizient - Die API-Version von GPT-4o ist 50 % günstiger als GPT-4 Turbo.
• Gedächtnis - GPT-4o hat die Fähigkeit, das Bewusstsein über verschiedene Konversationen hinweg aufrechtzuerhalten. Es kann sich daran erinnern, worüber du in verschiedenen Chats gesprochen hast.
• Mehrsprachig - GPT-4o wurde darauf trainiert, eine verbesserte Geschwindigkeit und Qualität in 50 verschiedenen Sprachen zu bieten.

Beispiele dafür, was GPT-4o tun kann#

Du kannst jetzt GPT-4o auf deinem Telefon aufrufen, deine Kamera einschalten und GPT-4o bitten, wie einen Freund, deine Stimmung basierend auf deinem Gesichtsausdruck zu erraten. GPT-4o kann dich durch die Kamera sehen und antworten.

Abb. 3: GPT-4o versteht die Stimmung eines Menschen über Video.

Du kannst es sogar nutzen, um dir bei der Lösung von Matheaufgaben zu helfen, indem du GPT-4o per Video zeigst, was du gerade schreibst. Alternativ kannst du deinen Bildschirm teilen, und es kann zu einem hilfreichen Tutor auf der Khan Academy werden, der dich bittet, verschiedene Teile eines Dreiecks in der Geometrie zu benennen, wie unten gezeigt.

Abb. 4: GPT-4o als Tutor auf der Khan Academy.

Abgesehen davon, Kindern bei Mathe zu helfen, können Entwickler Unterhaltungen mit GPT-4o führen, um ihren Code zu debuggen. Dies ist dank der Einführung von ChatGPT als Desktop-App möglich. Wenn du deinen Code mit CTRL „C“ markierst und kopierst, während du mit der Desktop-App von GPT-4o sprichst, kann es deinen Code lesen. Oder du kannst es nutzen, um Unterhaltungen zwischen Entwicklern zu übersetzen, die verschiedene Sprachen sprechen.

Die Möglichkeiten mit GPT-4o scheinen endlos zu sein. Eine der interessantesten Demos von OpenAI zeigte zwei Telefone, die GPT-4o benutzten, um mit verschiedenen Instanzen seiner selbst zu sprechen und gemeinsam zu singen.

Abb. 5: KI spricht und singt mit KI.

GPT-4o-Anwendungen#

Wie in einer Demo gezeigt, kann GPT-4o die Welt für Menschen mit Sehbehinderungen zugänglicher machen. Es kann ihnen helfen, sich sicherer und unabhängiger zu bewegen und zu interagieren. Benutzer können zum Beispiel ihr Video einschalten und GPT-4o einen Blick auf die Straße zeigen. GPT-4o kann dann Echtzeit-Beschreibungen der Umgebung liefern, wie etwa Hindernisse identifizieren, Straßenschilder lesen oder sie zu einem bestimmten Ort führen. Es kann ihnen sogar helfen, ein Taxi zu rufen, indem es sie benachrichtigt, wenn ein Taxi in der Nähe ist.

Abb. 6: GPT-4o warnt vor der Annäherung eines Taxis.

Ebenso kann GPT-4o verschiedene Branchen mit seinen fortschrittlichen Funktionen transformieren. Im Einzelhandel kann es den Kundenservice verbessern, indem es Unterstützung in Echtzeit bietet, Fragen beantwortet und Kunden hilft, Produkte sowohl online als auch im Geschäft zu finden. Nehmen wir an, du schaust auf ein Regal mit Produkten und kannst das gesuchte Produkt nicht finden – GPT-4o kann dir dabei helfen.

Im Gesundheitswesen kann GPT-4o bei Diagnosen helfen, indem es Patientendaten analysiert, mögliche Erkrankungen basierend auf Symptomen vorschlägt und Hinweise zu Behandlungsoptionen gibt. Es kann auch medizinisches Fachpersonal unterstützen, indem es Krankenakten zusammenfasst, schnellen Zugriff auf medizinische Fachliteratur bietet und sogar Echtzeit-Übersetzungen zur Kommunikation mit Patienten ermöglicht, die andere Sprachen sprechen. Dies sind nur einige Beispiele. Die Anwendungen von GPT-4o erleichtern den Alltag, indem sie maßgeschneiderte, kontextbezogene Unterstützung bieten und Barrieren bei Information und Kommunikation abbauen.

GPT-4o und Modellsicherheit#

Genau wie die vorherigen Versionen von GPT, die das Leben von hunderten Millionen Menschen beeinflusst haben, wird GPT-4o wahrscheinlich global mit Echtzeit-Audio und -Video interagieren, was Sicherheit zu einem entscheidenden Element in diesen Anwendungen macht. OpenAI war sehr vorsichtig, GPT-4o mit Fokus auf die Minderung potenzieller Risiken aufzubauen.

Um Sicherheit und Zuverlässigkeit zu gewährleisten, hat OpenAI strenge Sicherheitsmaßnahmen implementiert. Dazu gehören das Filtern von Trainingsdaten, die Verfeinerung des Modellverhaltens nach dem Training und die Integration neuer Sicherheitssysteme für die Verwaltung von Sprachausgaben. Darüber hinaus wurde GPT-4o ausgiebig von über 70 externen Experten in Bereichen wie Sozialpsychologie, Bias und Fairness sowie Desinformation getestet. Externe Tests stellen sicher, dass alle Risiken, die durch neue Funktionen eingeführt oder verstärkt werden, identifiziert und adressiert werden.

Um hohe Sicherheitsstandards aufrechtzuerhalten, veröffentlicht OpenAI die Funktionen von GPT-4o schrittweise über die nächsten Wochen. Eine phasenweise Einführung ermöglicht es OpenAI, die Leistung zu überwachen, Probleme anzugehen und Nutzerfeedback zu sammeln. Ein vorsichtiger Ansatz stellt sicher, dass GPT-4o fortschrittliche Funktionen liefert und gleichzeitig die höchsten Standards an Sicherheit und ethischer Nutzung beibehält.

Probiere GPT-4o selbst aus#

GPT-4o ist frei zugänglich. Um die oben genannten Echtzeit-Konversationsfunktionen auszuprobieren, kannst du die ChatGPT-App aus dem Google Play Store oder Apple App Store direkt auf dein Telefon herunterladen.

Nach dem Anmelden kannst du GPT-4o aus der Liste auswählen, die durch Tippen auf die drei Punkte in der oberen rechten Ecke des Bildschirms angezeigt wird. Wenn du zu einem mit GPT-4o aktivierten Chat navigierst und auf das Pluszeichen in der unteren linken Ecke des Bildschirms tippst, siehst du mehrere Eingabeoptionen. In der unteren rechten Ecke des Bildschirms siehst du ein Kopfhörersymbol. Wenn du das Kopfhörersymbol auswählst, wirst du gefragt, ob du eine freihändige Version von GPT-4o erleben möchtest. Nach deiner Zustimmung kannst du GPT-4o ausprobieren, wie unten gezeigt.

Abb. 7. GPT-4o in der ChatGPT-App auf dem Handy ausprobieren.

Wenn du die erweiterten Funktionen von GPT-4o in deine eigenen Projekte integrieren möchtest, steht es Entwicklern als API zur Verfügung. Damit kannst du die leistungsstarke Spracherkennung, die mehrsprachige Unterstützung und die Echtzeit-Konversationsfunktionen von GPT-4o in deine Anwendungen einbinden. Durch die Nutzung der API kannst du die Benutzererfahrung verbessern, intelligentere Apps entwickeln und modernste KI-Technologie in verschiedene Bereiche bringen.

GPT-4o: Noch nicht ganz menschlich#

Obwohl GPT-4o weitaus fortschrittlicher ist als frühere KI-Modelle, ist es wichtig, daran zu denken, dass GPT-4o seine eigenen Einschränkungen hat. OpenAI hat erwähnt, dass es manchmal zufällig die Sprachen wechselt, während es spricht, beispielsweise von Englisch zu Französisch. Sie haben auch gesehen, dass GPT-4o zwischen Sprachen falsch übersetzt. Je mehr Menschen das Modell ausprobieren, desto besser werden wir verstehen, wo GPT-4o glänzt und wo es noch Verbesserungsbedarf gibt.

Fazit#

OpenAIs GPT-4o öffnet neue Türen für KI mit seiner fortschrittlichen Text-, Bild- und Audioverarbeitung und bietet natürliche, menschenähnliche Interaktionen. Es zeichnet sich durch Geschwindigkeit, Kosteneffizienz und mehrsprachige Unterstützung aus. GPT-4o ist ein vielseitiges Werkzeug für Bildung, Barrierefreiheit und Echtzeitunterstützung. Während Nutzer die Fähigkeiten von GPT-4o erkunden, wird das Feedback seine Evolution vorantreiben. GPT-4o beweist, dass KI unsere Welt wirklich verändert und ein Teil unseres täglichen Lebens wird.

Erkunde unser GitHub-Repository und trete unserer Community bei, um tiefer in die Welt der KI einzutauchen. Besuche unsere Lösungsseiten, um zu sehen, wie KI Branchen wie die Fertigung und die Landwirtschaft verändert.