Gli ultimi aggiornamenti di OpenAI: Canvas, fine-tuning della visione e altro

Dall'ultima volta che abbiamo esaminato i modelli o1 di OpenAI a settembre, progettati per migliorare il ragionamento, ChatGPT ha ricevuto molte funzionalità nuove e interessanti. Alcune di queste novità sono pensate per gli sviluppatori, mentre altre mirano a perfezionare l'esperienza utente. Nel complesso, ogni aggiornamento contribuisce a rendere le interazioni con ChatGPT più intuitive ed efficaci.

Aggiornamenti come Canvas, pensato per la scrittura e la programmazione collaborative, e il fine-tuning delle capacità di visione, che migliora la capacità di ChatGPT di lavorare con le immagini, hanno suscitato grande interesse e incoraggiato gli utenti a esplorare possibilità più creative. Nel frattempo, gli aggiornamenti tecnici, come le nuove API e i rapporti sui test di equità, affrontano aspetti quali l’integrazione dei modelli e le pratiche di AI etica. Vediamo più da vicino le ultime funzionalità di ChatGPT di OpenAI.

Panoramica della funzionalità Canvas di OpenAI#

Canvas è il primo importante aggiornamento dell'interfaccia utente (UI) di ChatGPT dal suo lancio. È una nuova interfaccia con layout a due schermate, prompt nella barra laterale sinistra e risposte nella finestra a destra. La nuova UI supera il consueto flusso di lavoro basato su una struttura a schermata singola simile a una chat e passa a un layout a due schermate, adatto al multitasking e pensato per aumentare la produttività.

Fig. 1. Canvas introduce aggiornamenti alla UI di ChatGPT.

Prima dell’introduzione di Canvas, lavorare su documenti lunghi in ChatGPT significava dover scorrere parecchio verso l’alto e verso il basso. Nel nuovo layout, i prompt sono visualizzati nella barra laterale sinistra e il documento di testo o lo snippet di codice occupa la maggior parte dello schermo. Se necessario, puoi anche personalizzare le dimensioni della barra laterale sinistra e dell’area di output. Inoltre, puoi selezionare una porzione di testo o una sezione di codice e modificarla senza alterare l’intero documento.

Fig. 2. Modifica sezioni specifiche di testo con Canvas.

Se usi Canvas, noterai che nell’interfaccia di ChatGPT non c’è un pulsante o un interruttore specifico per aprirlo. Quando lavori con il modello GPT-4o, invece, Canvas si apre automaticamente se rileva che stai modificando, scrivendo o programmando. Con i prompt più semplici rimane inattivo. Se vuoi aprirlo manualmente, puoi usare prompt come "Apri Canvas" o "Mostrami il layout di Canvas".

Al momento Canvas è in versione beta ed è disponibile solo con GPT-4o. OpenAI ha tuttavia dichiarato che, una volta terminata la fase beta, Canvas sarà disponibile per tutti gli utenti del piano gratuito.

Aggiornamenti delle API di ChatGPT#

OpenAI ha rilasciato tre nuovi aggiornamenti delle API di ChatGPT, pensati per migliorare efficienza, scalabilità e versatilità. Vediamo più da vicino ciascuno di questi aggiornamenti.

Distillazione dei modelli#

Usando la funzionalità di distillazione dei modelli tramite le API di OpenAI, gli sviluppatori possono sfruttare gli output di modelli avanzati come GPT-4o o o1-preview per migliorare le prestazioni di modelli più piccoli ed economici come GPT-4o mini. La distillazione dei modelli consiste nell’addestrare modelli più piccoli a imitare il comportamento di modelli più avanzati, rendendoli più efficienti per attività specifiche.

Prima dell’introduzione di questa funzionalità, gli sviluppatori dovevano coordinare manualmente diverse attività usando strumenti differenti. Tra queste attività c’erano la generazione di dataset, la misurazione delle prestazioni dei modelli e la loro ottimizzazione, un processo spesso complesso e soggetto a errori. L’aggiornamento per la distillazione dei modelli consente agli sviluppatori di usare Stored Completions, uno strumento che genera automaticamente dataset acquisendo e archiviando le coppie di input e output prodotte dai modelli avanzati tramite l’API.

Un’altra funzionalità della distillazione dei modelli, Evals (attualmente in beta), aiuta a misurare le prestazioni di un modello su attività specifiche, senza dover creare script di valutazione personalizzati o usare strumenti separati. Usando i dataset generati con Stored Completions e valutando le prestazioni con Evals, gli sviluppatori possono ottimizzare i propri modelli GPT personalizzati.

Fig. 3. Puoi usare Evals per misurare le prestazioni del modello.

Memorizzazione nella cache dei prompt#

Spesso, durante la creazione di applicazioni di AI, in particolare di chatbot, lo stesso contesto (le informazioni di base o la cronologia delle conversazioni precedenti necessarie per comprendere la richiesta attuale) viene riutilizzato in più chiamate API. La memorizzazione nella cache dei prompt consente agli sviluppatori di riutilizzare i token di input usati di recente (segmenti di testo elaborati dal modello per comprendere il prompt e generare una risposta), contribuendo a ridurre costi e latenza.

Dal 1° ottobre, OpenAI applica automaticamente Prompt Caching ai suoi modelli, come GPT-4o, GPT-4o mini, o1-preview e o1-mini. Questo significa che quando gli sviluppatori usano l'API per interagire con un modello con un prompt lungo, superiore a 1.024 token, il sistema salva le parti che ha già elaborato.

In questo modo, se si riutilizzano prompt uguali o simili, il sistema può evitare di ricalcolare quelle parti. Il sistema memorizza automaticamente nella cache la parte più lunga del prompt già incontrata, partendo da 1.024 token e aggiungendo blocchi da 128 token man mano che il prompt si allunga.

API Realtime#

La creazione di un assistente vocale in genere richiede di trascrivere l’audio in testo, elaborare il testo e poi convertirlo nuovamente in audio per riprodurre la risposta. La Realtime API di OpenAI punta a gestire l’intero processo con una sola richiesta API. Semplificando il processo, l’API abilita conversazioni in tempo reale con l’AI.

Per esempio, un assistente vocale integrato con la Realtime API può eseguire azioni specifiche, come effettuare un ordine o trovare informazioni, in base alle richieste degli utenti. L’API rende l’assistente vocale più reattivo e capace di adattarsi rapidamente alle esigenze degli utenti. La Realtime API è diventata disponibile in beta pubblica il 1° ottobre, con sei voci. Il 30 ottobre ne sono state aggiunte altre cinque, per un totale di undici voci disponibili.

Fig. 4. Un esempio di utilizzo dell'API Realtime per esercitarsi in conversazioni in una nuova lingua.

Fine-tuning di ChatGPT per attività di visione#

Inizialmente, il modello linguistico visivo GPT-4o poteva essere ottimizzato e personalizzato solo con dataset di testo. Ora, con il rilascio dell’API per il fine-tuning visivo, gli sviluppatori possono addestrare e personalizzare GPT-4o usando dataset di immagini. Dal suo rilascio, il fine-tuning visivo è diventato un argomento di grande interesse tra sviluppatori e ingegneri di computer vision.

Per eseguire il fine-tuning delle capacità visive di GPT-4o, gli sviluppatori possono usare dataset di immagini che vanno da un minimo di 100 a un massimo di 50.000 immagini. Dopo aver verificato che il dataset rispetti il formato richiesto da OpenAI, è possibile caricarlo sulla piattaforma OpenAI ed eseguire il fine-tuning del modello per applicazioni specifiche.

Per esempio, Automat, un'azienda di automazione, ha usato un dataset di screenshot per addestrare GPT-4o a identificare gli elementi dell'interfaccia utente sullo schermo a partire da una descrizione. Questo semplifica l'automazione dei processi robotici (RPA), facilitando l'interazione dei bot con le interfacce utente. Invece di basarsi su coordinate fisse o regole complesse per i selettori, il modello può identificare gli elementi dell'interfaccia utente tramite descrizioni semplici, rendendo le configurazioni di automazione più adattabili e facili da mantenere quando le interfacce cambiano. I modelli OpenAI più recenti, come GPT-6.1 Sol, possono rilevare oggetti senza perfezionamento e i risultati dei benchmark VLM mostrano come si confrontano con altri modelli visione-linguaggio su dataset del mondo reale.

Fig. 5. Uso di una versione del modello GPT-4o sottoposta a fine-tuning per rilevare gli elementi dell'interfaccia utente.

Rilevamento di equità e bias in ChatGPT#

Con il continuo progresso dell’AI, le questioni etiche relative alle sue applicazioni sono sempre più al centro del dibattito. Poiché le risposte di ChatGPT si basano sui prompt forniti dagli utenti e sui dati disponibili su Internet, può essere difficile fare in modo che il suo linguaggio sia sempre responsabile. Secondo alcuni rapporti, le risposte di ChatGPT sono influenzate da pregiudizi legati a nome, genere ed etnia. Per affrontare il problema, il team interno di OpenAI ha condotto un test di equità in prima persona.

I nomi spesso contengono indizi sottili legati alla cultura e alla provenienza geografica. Nella maggior parte dei casi, ChatGPT ignora questi indizi. Tuttavia, in alcuni casi, i nomi che richiamano una cultura o un’etnia producono risposte diverse da parte di ChatGPT, e circa l’1% di queste risposte contiene un linguaggio dannoso. Eliminare i pregiudizi e il linguaggio dannoso è una sfida per un modello linguistico. Tuttavia, condividendo pubblicamente questi risultati e riconoscendo i limiti del modello, OpenAI aiuta gli utenti a perfezionare i prompt per ottenere risposte più neutrali e imparziali.

Fig. 6. Un esempio di risposte diverse dovute al nome dell'utente.

Capire la ricerca di ChatGPT#

Quando ChatGPT è stato lanciato per la prima volta, nella comunità dell'AI si discuteva se potesse sostituire la navigazione web tradizionale. Oggi molti utenti usano ChatGPT al posto di Google Search.

Il nuovo aggiornamento di OpenAI, la funzionalità Search, fa un ulteriore passo avanti. Con Search, ChatGPT genera risposte aggiornate e include link a fonti pertinenti. Dal 31 ottobre, la funzionalità Search è disponibile per tutti gli utenti ChatGPT Plus e Team, rendendo ChatGPT più simile a un motore di ricerca basato sull'AI.

Fig. 7. Un esempio di utilizzo della nuova funzionalità Search di ChatGPT.

Il futuro#

I recenti aggiornamenti di ChatGPT puntano a rendere l'AI più utile, flessibile ed equa. La nuova funzionalità Canvas aiuta gli utenti a lavorare in modo più efficiente, mentre il fine-tuning visivo permette agli sviluppatori di personalizzare i modelli per gestire meglio le attività visive. Affrontare il tema dell'equità e ridurre i bias sono altre priorità fondamentali, per garantire che l'AI funzioni bene per tutti, indipendentemente da chi siano. Che tu sia uno sviluppatore che esegue il fine-tuning dei modelli o un semplice utente delle ultime funzionalità, ChatGPT si evolve per soddisfare un'ampia gamma di esigenze. Grazie alle funzionalità in tempo reale, all'integrazione visiva e all'attenzione all'uso responsabile, questi aggiornamenti contribuiscono a creare un'esperienza di AI più affidabile e degna di fiducia per tutti.

Scopri di più sull'AI visitando il nostro repository GitHub e unendoti alla nostra community. Approfondisci le applicazioni dell'AI nella guida autonoma e nell'assistenza sanitaria.