Die neuesten Updates von OpenAI: Canvas, Feinabstimmung für Bildverarbeitung und mehr

Seit wir uns im September zuletzt mit den o1-Modellen von OpenAI beschäftigt haben, die für besseres Schlussfolgern entwickelt wurden, sind viele spannende neue Funktionen zu ChatGPT hinzugekommen. Einige dieser Neuerungen richten sich an Entwickler, andere sollen die Benutzerfreundlichkeit verbessern. Insgesamt sorgt jedes Update dafür, dass die Interaktion mit ChatGPT intuitiver und effektiver wird.

Aktualisierungen wie Canvas, eine Funktion für gemeinsames Schreiben und Programmieren, sowie Feinabstimmung für Bildverarbeitungsfunktionen, die die Arbeit von ChatGPT mit Bildern verbessert, haben großes Interesse geweckt und Nutzer dazu angeregt, kreativere Möglichkeiten zu erkunden. Technische Verbesserungen wie neue APIs und Berichte zu Fairness-Tests behandeln unterdessen Themen wie die Integration von Modellen und ethische KI. Werfen wir einen genaueren Blick auf die neuesten ChatGPT-Funktionen von OpenAI.

Ein Überblick über die Canvas-Funktion von OpenAI#

Canvas ist das erste größere Update der Benutzeroberfläche (UI) von ChatGPT seit dessen Veröffentlichung. Die neue Oberfläche bietet eine Ansicht mit zwei Bereichen: Eingabeaufforderungen erscheinen in der linken Seitenleiste und Antworten im Fenster auf der rechten Seite. Die neue UI ersetzt den üblichen Arbeitsablauf mit einem einzelnen, chatähnlichen Bildschirm durch eine zweigeteilte Ansicht, die Multitasking unterstützt und die Produktivität steigert.

Abb. 1. Canvas bringt Neuerungen für die ChatGPT-Benutzeroberfläche.

Bevor Canvas eingeführt wurde, musste man bei der Arbeit mit längeren Dokumenten in ChatGPT ziemlich viel nach oben und unten scrollen. Im neuen Layout werden Eingabeaufforderungen in der linken Seitenleiste angezeigt, während das Textdokument oder der Codeausschnitt den größten Teil des Bildschirms einnimmt. Bei Bedarf kannst du sogar die Größe der linken Seitenleiste und des Ausgabebereichs anpassen. Außerdem kannst du einen Textabschnitt oder einen Teil des Codes auswählen und gezielt bearbeiten, ohne das gesamte Dokument zu verändern.

Abb. 2. Bestimmte Textabschnitte mit Canvas bearbeiten.

Wenn du Canvas verwendest, fällt dir auf, dass es in der ChatGPT-Oberfläche keine bestimmte Schaltfläche und keinen Schalter zum Öffnen gibt. Stattdessen wird Canvas bei der Arbeit mit dem Modell GPT-4o automatisch geöffnet, wenn erkannt wird, dass du etwas bearbeitest, schreibst oder programmierst. Bei einfacheren Eingabeaufforderungen bleibt Canvas inaktiv. Wenn du Canvas manuell öffnen möchtest, kannst du Eingabeaufforderungen wie „Open the Canvas“ oder „Get me the Canvas layout“ verwenden.

Canvas befindet sich derzeit in der Betaphase und ist nur mit GPT-4o verfügbar. OpenAI hat jedoch angekündigt, dass Canvas nach Ende der Betaphase allen Nutzern der kostenlosen Version zur Verfügung stehen wird.

API-Updates für ChatGPT#

OpenAI hat drei neue Updates für die ChatGPT-API veröffentlicht, die Effizienz, Skalierbarkeit und Vielseitigkeit verbessern sollen. Sehen wir uns die einzelnen Neuerungen genauer an.

Modelldestillation#

Mit der Funktion zur Modelldestillation über die OpenAI-APIs können Entwickler die Ausgaben fortschrittlicher Modelle wie GPT-4o oder o1-preview nutzen, um die Leistung kleinerer, kostengünstiger Modelle wie GPT-4o mini zu verbessern. Bei der Modelldestillation werden kleinere Modelle darauf trainiert, das Verhalten leistungsfähigerer Modelle nachzuahmen. Dadurch arbeiten sie bei bestimmten Aufgaben effizienter.

Vor der Einführung dieser Funktion mussten Entwickler verschiedene Aufgaben manuell mit unterschiedlichen Werkzeugen koordinieren. Dazu gehörten das Erstellen von Datensätzen, das Messen der Modellleistung und die Feinabstimmung von Modellen. Dadurch wurde der Ablauf oft komplex und fehleranfällig. Mit der Aktualisierung zur Modelldestillation können Entwickler Stored Completions verwenden, ein Werkzeug, das Datensätze automatisch erzeugt, indem es über die API erstellte Ein- und Ausgabepaare fortschrittlicher Modelle erfasst und speichert.

Eine weitere Funktion der Modelldestillation, Evals (derzeit in der Betaphase), hilft dabei, die Leistung eines Modells bei bestimmten Aufgaben zu messen, ohne eigene Auswertungsskripte erstellen oder separate Werkzeuge verwenden zu müssen. Mit Datensätzen aus Stored Completions und der Leistungsbewertung durch Evals können Entwickler ihre eigenen benutzerdefinierten GPT-Modelle feinabstimmen.

Abb. 3. Mit Evals kannst du die Modellleistung messen.

Prompt-Caching#

Bei der Entwicklung von KI-Anwendungen, insbesondere Chatbots, wird oft derselbe Kontext – also die Hintergrundinformationen oder der bisherige Gesprächsverlauf, die zum Verständnis der aktuellen Anfrage erforderlich sind – wiederholt für mehrere API-Aufrufe verwendet. Prompt-Caching ermöglicht es Entwicklern, kürzlich verwendete Eingabetokens wiederzuverwenden. Dabei handelt es sich um Textabschnitte, die das Modell verarbeitet, um die Eingabeaufforderung zu verstehen und eine Antwort zu generieren. So lassen sich Kosten und Latenz reduzieren.

Seit dem 1. Oktober wendet OpenAI Prompt-Caching automatisch auf Modelle wie GPT-4o, GPT-4o mini, o1-preview und o1-mini an. Wenn Entwickler also über die API mit einem Modell interagieren und eine lange Eingabeaufforderung mit mehr als 1.024 Tokens verwenden, speichert das System die bereits verarbeiteten Teile.

Wird dieselbe oder eine ähnliche Eingabeaufforderung erneut verwendet, kann das System diese Teile überspringen, statt sie noch einmal zu berechnen. Es speichert automatisch den längsten Teil der Eingabeaufforderung, den es zuvor verarbeitet hat. Dabei beginnt es mit 1.024 Tokens und fügt bei längeren Eingabeaufforderungen jeweils 128 Tokens hinzu.

Realtime API#

Für einen Sprachassistenten muss in der Regel Audio in Text umgewandelt, der Text verarbeitet und anschließend wieder in Audio umgewandelt werden, um die Antwort abzuspielen. Die Realtime API von OpenAI soll diesen gesamten Ablauf mit einer einzigen API-Anfrage bewältigen. Da der Prozess dadurch einfacher wird, ermöglicht die API Echtzeitgespräche mit KI.

Ein in die Realtime API integrierter Sprachassistent kann beispielsweise auf Nutzeranfragen bestimmte Aktionen ausführen, etwa eine Bestellung aufgeben oder Informationen suchen. Die API macht den Sprachassistenten reaktionsschneller und ermöglicht es ihm, sich rasch an die Bedürfnisse der Nutzer anzupassen. Die Realtime API wurde am 1. Oktober in einer öffentlichen Betaversion mit sechs Stimmen verfügbar. Am 30. Oktober kamen fünf weitere Stimmen hinzu, sodass insgesamt elf Stimmen zur Verfügung standen.

Abb. 4. Ein Beispiel für das Üben von Gesprächen in einer neuen Sprache mit der Realtime API.

ChatGPT für Bildverarbeitungsaufgaben feinabstimmen#

Ursprünglich ließ sich das GPT-4o-Vision-Language-Modell nur mit reinen Textdatensätzen feinabstimmen und anpassen. Mit der Veröffentlichung der API zur Feinabstimmung visueller Modelle können Entwickler GPT-4o nun anhand von Bilddatensätzen trainieren und anpassen. Seit ihrer Veröffentlichung stößt die Feinabstimmung visueller Modelle bei Entwicklern und Computer-Vision-Ingenieuren auf großes Interesse.

Um die Bildverarbeitungsfunktionen von GPT-4o feinabzustimmen, können Entwickler Bilddatensätze mit 100 bis 50.000 Bildern verwenden. Nachdem sichergestellt wurde, dass der Datensatz dem von OpenAI vorgeschriebenen Format entspricht, kann er auf die OpenAI-Plattform hochgeladen und das Modell für bestimmte Anwendungen feinabgestimmt werden.

Das Automatisierungsunternehmen Automat nutzte beispielsweise einen Datensatz mit Bildschirmaufnahmen, um GPT-4o zu trainieren, Benutzeroberflächenelemente anhand einer Beschreibung auf dem Bildschirm zu erkennen. Das vereinfacht die robotergestützte Prozessautomatisierung (RPA), da Bots leichter mit Benutzeroberflächen interagieren können. Statt sich auf feste Koordinaten oder komplexe Auswahlregeln zu stützen, kann das Modell UI-Elemente anhand einfacher Beschreibungen erkennen. So lassen sich Automatisierungslösungen besser anpassen und leichter warten, wenn sich Oberflächen ändern. Neuere OpenAI-Modelle wie GPT-6.1 Sol können Objekte ohne Feinabstimmung erkennen. Die VLM-Benchmark-Ergebnisse zeigen, wie sie im Vergleich zu anderen Vision-Language-Modellen auf realen Datensätzen abschneiden.

Abb. 5. UI-Elemente mit einer feinabgestimmten Version des Modells GPT-4o erkennen.

Fairness und Erkennung von Verzerrungen in ChatGPT#

Ethische Bedenken im Zusammenhang mit KI-Anwendungen werden zunehmend diskutiert, je leistungsfähiger KI wird. Da die Antworten von ChatGPT auf Nutzereingaben und im Internet verfügbaren Daten beruhen, ist es schwierig, die Sprache des Modells jederzeit verantwortungsvoll auszurichten. Berichten zufolge sind die Antworten von ChatGPT voreingenommen, wenn es um Namen, Geschlecht und ethnische Zugehörigkeit geht. Um dieses Problem anzugehen, führte das interne Team von OpenAI einen Fairness-Test aus der Ich-Perspektive durch.

Namen enthalten oft subtile Hinweise auf kulturelle und geografische Faktoren. In den meisten Fällen ignoriert ChatGPT solche Hinweise in Namen. Manchmal führen Namen, die auf eine ethnische Zugehörigkeit oder Kultur hindeuten, jedoch zu anderen Antworten von ChatGPT. Etwa 1 % dieser Antworten enthalten schädliche Sprache. Voreingenommenheit und schädliche Sprache zu beseitigen, ist für ein Sprachmodell eine schwierige Aufgabe. Indem OpenAI diese Erkenntnisse öffentlich teilt und die Grenzen des Modells anerkennt, hilft das Unternehmen Nutzern jedoch dabei, ihre Eingabeaufforderungen zu verbessern und neutralere, vorurteilsfreie Antworten zu erhalten.

Abb. 6. Beispiel für unterschiedliche Antworten aufgrund des Namens des Nutzers.

Die Suche in ChatGPT verstehen#

Als ChatGPT erstmals veröffentlicht wurde, diskutierte die KI-Community darüber, ob es das herkömmliche Surfen im Internet ersetzen könnte. Inzwischen verwenden viele Nutzer ChatGPT anstelle der Google-Suche.

Das neue Such-Update von OpenAI geht noch einen Schritt weiter. Mit der Suchfunktion erstellt ChatGPT aktuelle Antworten und fügt Links zu relevanten Quellen hinzu. Seit dem 31. Oktober steht die Suchfunktion allen ChatGPT-Plus- und Team-Nutzern zur Verfügung und macht ChatGPT zu einer KI-gestützten Suchmaschine.

Abb. 7. Beispiel für die Verwendung der neuen Suchfunktion von ChatGPT.

Wie es weitergeht#

Die jüngsten Updates von ChatGPT sollen KI nützlicher, flexibler und fairer machen. Die neue Canvas-Funktion hilft Nutzern, effizienter zu arbeiten, während die Feinabstimmung für Bildverarbeitung Entwicklern ermöglicht, Modelle besser auf visuelle Aufgaben zuzuschneiden. Auch der Umgang mit Fairness und der Abbau von Verzerrungen haben hohe Priorität, damit KI unabhängig davon, wer sie nutzt, für alle gut funktioniert. Ob du als Entwickler Modelle feinabstimmst oder einfach die neuesten Funktionen verwendest – ChatGPT entwickelt sich weiter, um den unterschiedlichsten Anforderungen gerecht zu werden. Mit Echtzeitfunktionen, visueller Integration und einem Fokus auf verantwortungsvolle Nutzung tragen diese Updates zu einem vertrauenswürdigeren und zuverlässigeren KI-Erlebnis für alle bei.

Erfahre mehr über KI in unserem GitHub-Repository und werde Teil unserer Community. Informiere dich außerdem über KI-Anwendungen im autonomen Fahren und Gesundheitswesen.