Ein genauer Blick auf die Fähigkeiten von OpenAIs GPT-4o Mini

Im Mai 2024 veröffentlichte OpenAI GPT-4o. Nur zwei Monate später folgte ein weiteres Modell: GPT-4o Mini. Am 18. Juli 2024 stellte OpenAI GPT-4o Mini vor und bezeichnete es als sein „kleinstes Modell mit dem besten Preis-Leistungs-Verhältnis“. GPT-4o Mini ist ein kompaktes Modell, das auf den Fähigkeiten früherer Modelle aufbaut und fortschrittliche KI zugänglicher und erschwinglicher machen soll.

GPT-4o Mini unterstützt derzeit Text- und Bildinteraktionen. Künftige Aktualisierungen sollen Funktionen zur Verarbeitung von Bildern, Videos und Audio ergänzen. In diesem Artikel betrachten wir, was GPT-4o Mini ist, welche besonderen Funktionen es bietet, wie es genutzt werden kann, worin sich GPT-4o und GPT-4o Mini unterscheiden und wie es sich in verschiedenen Anwendungsfällen für Computer Vision einsetzen lässt.

Was ist GPT-4o Mini?#

GPT-4o Mini ist das neueste KI-Modell von OpenAI und wurde mit dem Ziel entwickelt, kostengünstiger und zugänglicher zu sein. Es ist ein multimodales großes Sprachmodell (LLM), das heißt, es kann mehr als einen Datentyp verarbeiten, etwa Text und Bilder. Das Modell baut auf den Stärken früherer Modelle wie GPT-4 und GPT-4o auf und bietet umfangreiche Funktionen in kompakter Form.

GPT-4o Mini ist 60 % günstiger als GPT-3.5 Turbo. Die Kosten betragen 15 Cent pro Million Eingabetoken (Einheiten von Text oder Daten, die das Modell verarbeitet) und 60 Cent pro Million Ausgabetoken (Einheiten, die das Modell als Antwort erzeugt). Zur Einordnung: Eine Million Token entsprechen ungefähr der Verarbeitung von 2.500 Textseiten. Mit einem Kontextfenster von 128K Token und der Möglichkeit, bis zu 16K Ausgabetoken pro Anfrage zu verarbeiten, ist GPT-4o Mini auf Effizienz und niedrige Kosten ausgelegt.

Abb. 1: GPT-4o Mini ist 60 % günstiger als GPT-3.5 Turbo.

Wichtige Funktionen von GPT-4o Mini#

GPT-4o Mini unterstützt eine Reihe von Aufgaben und eignet sich damit für verschiedene Anwendungen. Du kannst es nutzen, wenn mehrere Vorgänge gleichzeitig ausgeführt werden, etwa beim Aufrufen mehrerer APIs, beim Verarbeiten großer Datenmengen wie vollständiger Codebasen oder Gesprächsverläufe und beim schnellen Beantworten von Anfragen in Chatbots für den Kundendienst.

Hier sind einige weitere wichtige Funktionen:

• Aktualisierte Wissensbasis: Der Wissensstand des Modells reicht bis Oktober 2023.
• Verbesserter Tokenizer: GPT-4o Mini verarbeitet nicht englischsprachige Texte kostengünstiger.
• Robuste Sicherheitsmaßnahmen: Dazu gehören das Filtern schädlicher Inhalte und der Schutz vor Sicherheitsrisiken wie Prompt-Injection und Systemmanipulation.

Erste Schritte mit GPT-4o Mini#

Du kannst GPT-4o Mini über die ChatGPT-Oberfläche ausprobieren. Es ist für Nutzer der Tarife Free, Plus und Team verfügbar und ersetzt wie unten gezeigt GPT-3.5. Auch Enterprise-Nutzer erhalten bald Zugriff, im Einklang mit dem Ziel von OpenAI, allen die Vorteile von KI zugänglich zu machen. GPT-4o Mini ist außerdem über die API für Entwickler verfügbar, die seine Funktionen in ihre Anwendungen integrieren möchten. Derzeit sind die Bildverarbeitungsfunktionen nur über die API zugänglich.

Abb. 2. Modellauswahl in ChatGPT.

Der Unterschied zwischen GPT-4o und GPT-4o Mini#

GPT-4o Mini und GPT-4o schneiden bei verschiedenen Benchmarks beeindruckend ab. GPT-4o ist GPT-4o Mini zwar in der Regel überlegen, doch GPT-4o Mini ist nach wie vor eine kostengünstige Lösung für alltägliche Aufgaben. Die Benchmarks umfassen Aufgaben zum logischen Schlussfolgern, mathematische und Programmierfähigkeiten sowie multimodales Schlussfolgern. Wie das Bild unten zeigt, erzielt GPT-4o Mini im Vergleich zu anderen beliebten Modellen recht hohe Benchmark-Ergebnisse.

Abb. 3: Vergleich von GPT-4o Mini mit anderen beliebten Modellen.

GPT-4o und GPT-4o Mini praktisch ausprobieren#

Ein interessanter Prompt, über den online diskutiert wurde, betrifft beliebte LLMs, die Dezimalzahlen falsch vergleichen. Als wir GPT-4o und GPT-4o Mini auf die Probe stellten, zeigten sich deutliche Unterschiede in ihren Schlussfolgerungen. Auf dem Bild unten fragten wir beide Modelle, welche Zahl größer ist: 9.11 oder 9.9, und ließen sie anschließend ihre Überlegungen erklären.

Abb. 4: GPT-4o und GPT-4o Mini im Test.

Beide Modelle antworten zunächst falsch und behaupten, 9.11 sei größer. GPT-4o kann seine Überlegungen jedoch korrigieren und kommt zur richtigen Antwort: 9.9 ist größer. Das Modell erklärt seine Antwort ausführlich und vergleicht die Dezimalzahlen korrekt. GPT-4o Mini beharrt dagegen auf seiner anfänglich falschen Antwort, obwohl es richtig nachvollzogen hat, warum 9.9 größer ist.

Beide Modelle zeigen ausgeprägte Fähigkeiten zum logischen Schlussfolgern. Dass GPT-4o seine Antwort korrigieren kann, macht es leistungsfähiger und für komplexere Aufgaben geeignet. GPT-4o Mini ist zwar weniger anpassungsfähig, liefert aber bei einfacheren Aufgaben dennoch klare und präzise Schlussfolgerungen.

GPT-4o Mini für verschiedene Computer-Vision-Anwendungsfälle einsetzen#

Wenn du die Bildverarbeitungsfunktionen von GPT-4o Mini ausprobieren möchtest, ohne dich mit dem Code zu beschäftigen, kannst du die API ganz einfach im OpenAI Playground testen. Wir haben sie selbst ausprobiert, um zu sehen, wie gut GPT-4o Mini verschiedene Computer-Vision-Anwendungsfälle bewältigt.

Bildklassifizierung mit GPT-4o Mini#

Wir baten GPT-4o Mini, zwei Bilder zu klassifizieren: eines mit einem Schmetterling und eines mit einer Karte. Das KI-Modell erkannte den Schmetterling und die Karte korrekt. Da sich die Bilder stark unterscheiden, ist dies eine recht einfache Aufgabe.

Abb. 5: Bilder mit GPT-4o Mini klassifizieren.

Anschließend ließen wir das Modell zwei weitere Bilder analysieren: eines zeigte einen Schmetterling, der auf einer Pflanze saß, das andere einen Schmetterling auf dem Boden. Auch diesmal leistete die KI gute Arbeit und erkannte den Schmetterling auf der Pflanze sowie den am Boden korrekt. Also gingen wir noch einen Schritt weiter.

Abb. 6: Ähnliche Bilder mit GPT-4o Mini klassifizieren.

Anschließend baten wir GPT-4o Mini, zwei Bilder zu klassifizieren: eines zeigte einen Schmetterling, der sich von den Blüten des Seidenkrauts ernährte, und das andere einen Schmetterling an einer Zinnie. Bemerkenswert ist, dass das Modell ohne weiteres Fine-Tuning eine so spezifische Bezeichnung zuweisen konnte. Diese kurzen Beispiele zeigen, dass GPT-4o Mini möglicherweise für Aufgaben der Bildklassifizierung verwendet werden kann, ohne dass ein eigenes Training erforderlich ist.

Abb. 7: Detaillierte Bilder mit GPT-4o Mini klassifizieren.

Körperhaltungen mit GPT-4o Mini verstehen#

Zum Zeitpunkt der Erstellung dieses Artikels kann GPT-4o Mini keine Computer-Vision-Aufgaben wie Objektdetektion und Instanzsegmentierung bewältigen. GPT-4o kann solche Aufgaben versuchen, seine Genauigkeit ist jedoch begrenzt. Auch beim Verstehen von Posen kann das Modell weder Keypoints erkennen noch die Pose in einem Bild schätzen, aber es kann die Pose klassifizieren und beschreiben.

Abb. 8: GPT-4o Mini zum Erkennen von Körperhaltungen in einem Bild verwenden.

Das Bild oben zeigt, wie GPT-4o Mini Posen klassifizieren und verstehen kann, obwohl es die genauen Koordinaten der Pose nicht erkennen oder schätzen kann. Das kann für verschiedene Anwendungen hilfreich sein. In der Sportanalyse kann das Modell beispielsweise die Bewegungen von Sportlern grob bewerten und helfen, Verletzungen zu vermeiden. In der Physiotherapie kann es bei der Überwachung von Übungen unterstützen und sicherstellen, dass Patienten während der Rehabilitation die richtigen Bewegungen ausführen. Bei der Überwachung kann das Modell verdächtige Aktivitäten anhand der allgemeinen Körpersprache erkennen helfen. GPT-4o Mini kann zwar keine einzelnen Keypoints erkennen, ist aber dank seiner Fähigkeit, allgemeine Posen zu klassifizieren, in diesen und anderen Bereichen nützlich. Neuere OpenAI-Modelle wie GPT-6 Luna und GPT-6.1 Sol können Bounding Boxes zeichnen. Die Ultralytics VLM Leaderboard vergleicht, wie genau diese Modelle Objekte in realen Datensätzen erkennen.

Geeignete Anwendungsbereiche für GPT-4o Mini#

Wir haben uns angesehen, was GPT-4o Mini kann. Sehen wir uns nun die Anwendungsbereiche an, für die GPT-4o Mini besonders geeignet ist.

GPT-4o Mini eignet sich gut für Anwendungen, die ein fortgeschrittenes Verständnis natürlicher Sprache erfordern und mit wenig Rechenleistung auskommen müssen. Dadurch lässt sich KI auch in Anwendungen integrieren, für die sie normalerweise zu teuer wäre. Eine ausführliche Analyse von Artificial Analysis zeigt, dass GPT-4o Mini hochwertige Antworten schneller ausgibt als die meisten anderen Modelle.

Abb. 9: Qualität und Ausgabegeschwindigkeit von GPT-4o Mini.

Hier sind einige wichtige Bereiche, in denen es nützlich sein könnte:

• Virtuelle Assistenten und Chatbots: GPT-4o Mini kann schnell und intelligent antworten und so die Interaktion mit Nutzern verbessern.
• Lernwerkzeuge: Mit dem Modell lassen sich Werkzeuge für personalisiertes Lernen und die Erstellung von Inhalten entwickeln.
• Produktivitätswerkzeuge: Das Modell kann Aufgaben wie das Zusammenfassen von Dokumenten, das Verfassen von E-Mails und das Übersetzen von Texten effizienter gestalten.
• Sprachübersetzung: GPT-4o Mini kann zur Entwicklung von Übersetzungsprogrammen verwendet werden, die eine genaue maschinelle Übersetzung in Echtzeit ermöglichen und so die Kommunikation zwischen verschiedenen Sprachen verbessern.

GPT-4o Mini eröffnet neue Möglichkeiten#

GPT-4o Mini eröffnet neue Möglichkeiten für die Zukunft multimodaler KI. Die Kosten für die Verarbeitung jedes Text- oder Datenelements, die sogenannten Kosten pro Token, sind seit 2022, als text-davinci-003, das GPT-3-Modell, veröffentlicht wurde, deutlich gesunken – um fast 99 %. Der Kostenrückgang zeigt einen klaren Trend hin zu erschwinglicherer fortschrittlicher KI. Da sich KI-Modelle weiter verbessern, wird es immer wahrscheinlicher, dass sich die Integration von KI in jede App und Website wirtschaftlich lohnt.

Möchtest du KI praktisch ausprobieren? Besuche unser GitHub-Repository, um unsere Innovationen kennenzulernen und Teil unserer aktiven Community zu werden. Erfahre auf unseren Lösungsseiten mehr über KI-Anwendungen in der Fertigung und der Landwirtschaft.