Les dernières nouveautés d’OpenAI : Canvas, réglage fin de la vision et plus encore

Depuis notre dernier article sur les modèles o1 d’OpenAI en septembre, conçus pour améliorer le raisonnement, ChatGPT s’est enrichi de nombreuses fonctionnalités intéressantes. Certaines nouveautés s’adressent aux développeurs, tandis que d’autres visent à améliorer l’expérience utilisateur. Dans l’ensemble, chaque mise à niveau rend les interactions avec ChatGPT plus intuitives et plus efficaces.

Des nouveautés comme Canvas, conçu pour faciliter l’écriture et le codage collaboratifs, et le réglage fin des capacités visuelles, qui améliore la capacité de ChatGPT à traiter les images, ont suscité beaucoup d’intérêt et incité les utilisateurs à explorer davantage de possibilités créatives. Parallèlement, les améliorations techniques, comme les nouvelles API et les rapports sur les tests d’équité, abordent des sujets tels que l’intégration des modèles et les pratiques d’IA éthique. Examinons de plus près les dernières fonctionnalités de ChatGPT d’OpenAI.

Présentation de la fonctionnalité Canvas d’OpenAI#

Canvas est la première mise à jour majeure de l’interface utilisateur (UI) de ChatGPT depuis son lancement. Cette nouvelle interface adopte une disposition à deux volets, avec les prompts dans la barre latérale gauche et les réponses dans la fenêtre de droite. La nouvelle UI abandonne la structure habituelle d’un écran unique semblable à une conversation et passe à une disposition à deux volets adaptée au multitâche, afin d’améliorer la productivité.

Fig. 1. Canvas apporte des mises à jour de l’UI à ChatGPT.

Avant l’arrivée de Canvas, travailler sur de longs documents dans ChatGPT impliquait de faire défiler l’écran de haut en bas assez souvent. Dans la nouvelle interface, les invites s’affichent dans la barre latérale gauche, tandis que le document texte ou l’extrait de code occupe la majeure partie de l’écran. Au besoin, tu peux même modifier la taille de la barre latérale gauche et de la zone de sortie. Tu peux également sélectionner une portion de texte ou une section de code et modifier cette section sans changer le document entier.

Fig. 2. Modifier des sections précises de texte avec Canvas.

Si tu utilises Canvas, tu remarqueras qu’il n’y a pas de bouton ou de commande spécifique pour l’ouvrir dans l’interface de ChatGPT. Lorsque tu travailles avec le modèle GPT-4o, Canvas s’ouvre automatiquement s’il détecte que tu es en train de modifier, d’écrire ou de coder. Il reste inactif pour les invites plus simples. Pour l’ouvrir manuellement, tu peux utiliser des invites comme « Ouvre Canvas » ou « Affiche-moi la mise en page Canvas ».

Canvas est actuellement en version bêta et n’est disponible qu’avec GPT-4o. OpenAI a toutefois indiqué que Canvas serait accessible à tous les utilisateurs gratuits à la fin de la période bêta.

Mises à jour de l’API de ChatGPT#

OpenAI a publié trois nouvelles mises à jour de l’API de ChatGPT visant à améliorer l’efficacité, l’évolutivité et la polyvalence. Examinons chacune de ces mises à jour de plus près.

Distillation de modèles#

Grâce à la fonctionnalité de distillation de modèles des API OpenAI, les développeurs peuvent utiliser les sorties de modèles avancés comme GPT-4o ou o1-preview pour améliorer les performances de modèles plus petits et plus économiques comme GPT-4o mini. La distillation de modèles consiste à entraîner des modèles plus petits pour qu’ils imitent le comportement de modèles plus avancés, ce qui les rend plus efficaces pour des tâches spécifiques.

Avant l’introduction de cette fonctionnalité, les développeurs devaient coordonner manuellement diverses tâches avec différents outils. Celles-ci comprenaient la génération de jeux de données, la mesure des performances des modèles et leur réglage fin, ce qui rendait souvent le processus complexe et sujet aux erreurs. La mise à jour de la distillation de modèles permet aux développeurs d’utiliser Stored Completions, un outil qui génère automatiquement des jeux de données en capturant et en stockant les paires d’entrées et de sorties produites par des modèles avancés via l’API.

Autre fonctionnalité de la distillation de modèles, Evals (actuellement en version bêta) aide à mesurer les performances d’un modèle sur des tâches précises sans avoir à créer des scripts d’évaluation personnalisés ni à utiliser des outils distincts. En utilisant des jeux de données générés avec Stored Completions et en évaluant les performances avec Evals, les développeurs peuvent ajuster leurs propres modèles GPT personnalisés.

Fig. 3. Tu peux utiliser Evals pour mesurer les performances d’un modèle.

Mise en cache des prompts#

Lors de la création d’applications d’IA, notamment de chatbots, le même contexte — les informations générales ou l’historique des conversations nécessaires pour comprendre la demande actuelle — est souvent réutilisé dans plusieurs appels API. La mise en cache des invites permet aux développeurs de réutiliser les jetons d’entrée récemment employés — des segments de texte que le modèle traite pour comprendre l’invite et générer une réponse — et ainsi de réduire les coûts et la latence.

Depuis le 1er octobre, OpenAI applique automatiquement la mise en cache des prompts à ses modèles tels que GPT-4o, GPT-4o mini, o1-preview et o1-mini. Ainsi, lorsque les développeurs utilisent l’API pour interagir avec un modèle à partir d’un long prompt (de plus de 1 024 jetons), le système enregistre les parties qu’il a déjà traitées.

Ainsi, si des prompts identiques ou similaires sont utilisés à nouveau, le système peut éviter de recalculer ces parties. Il met automatiquement en cache la plus longue partie du prompt déjà rencontrée, à partir de 1 024 jetons, puis ajoute des blocs de 128 jetons à mesure que le prompt s’allonge.

API Realtime#

La création d’un assistant vocal nécessite généralement de transcrire l’audio en texte, de traiter le texte, puis de le convertir à nouveau en audio pour lire la réponse. L’API Realtime d’OpenAI vise à gérer l’ensemble de ce processus avec une seule requête API. En simplifiant le processus, l’API permet des conversations en temps réel avec l’IA.

Par exemple, un assistant vocal intégré à l’API Realtime peut effectuer des actions précises, comme passer une commande ou trouver des informations, en fonction des demandes des utilisateurs. L’API rend l’assistant vocal plus réactif et lui permet de s’adapter rapidement aux besoins des utilisateurs. L’API Realtime a été mise à disposition en version bêta publique le 1er octobre avec six voix. Le 30 octobre, cinq autres voix ont été ajoutées, portant le total à onze.

Fig. 4. Exemple d’utilisation de l’API Realtime pour s’entraîner à converser dans une nouvelle langue.

Affiner ChatGPT pour les tâches de vision#

À l’origine, le modèle vision-langage GPT-4o ne pouvait être ajusté et personnalisé qu’à l’aide de jeux de données textuels. Avec la sortie de l’API de réglage fin visuel, les développeurs peuvent désormais entraîner et personnaliser GPT-4o à partir de jeux de données d’images. Depuis son lancement, le réglage fin visuel suscite un vif intérêt chez les développeurs et les ingénieurs en vision par ordinateur.

Pour affiner les capacités de vision de GPT-4o, les développeurs peuvent utiliser des jeux de données d’images contenant de 100 à 50 000 images. Après avoir vérifié que le jeu de données respecte le format exigé par OpenAI, ils peuvent le téléverser sur la plateforme OpenAI et affiner le modèle pour des applications spécifiques.

Par exemple, l’entreprise d’automatisation Automat a utilisé un jeu de données de captures d’écran pour entraîner GPT-4o à identifier des éléments d’interface utilisateur à l’écran à partir d’une description. Cela facilite l’automatisation robotisée des processus (RPA) en permettant aux robots d’interagir plus facilement avec les interfaces utilisateur. Au lieu de s’appuyer sur des coordonnées fixes ou des règles de sélection complexes, le modèle peut identifier les éléments d’interface utilisateur à partir de simples descriptions, ce qui rend les configurations d’automatisation plus adaptables et plus faciles à maintenir lorsque les interfaces changent. Les modèles OpenAI plus récents, comme GPT-6.1 Sol, peuvent détecter des objets sans affinage, et les résultats du benchmark VLM montrent comment ils se comparent à d’autres modèles de vision-langage sur des jeux de données du monde réel.

Fig. 5. Utiliser une version affinée du modèle GPT-4o pour détecter des éléments d’UI.

Détection de l’équité et des biais dans ChatGPT#

Les préoccupations éthiques entourant les applications d’IA sont un sujet de discussion majeur à mesure que l’IA devient de plus en plus avancée. Comme les réponses de ChatGPT reposent sur les invites fournies par les utilisateurs et les données disponibles sur Internet, il peut être difficile d’affiner son langage pour qu’il soit toujours responsable. Des rapports indiquent que les réponses de ChatGPT sont biaisées en fonction du nom, du genre et de la race. Pour résoudre ce problème, l’équipe interne d’OpenAI a mené un test d’équité à la première personne.

Les noms comportent souvent des indices subtils sur la culture et la géographie. Dans la plupart des cas, ChatGPT ignore ces indices. Toutefois, certains noms évoquant une origine ethnique ou culturelle entraînent des réponses différentes de ChatGPT, et environ 1 % de ces réponses contiennent un langage préjudiciable. Éliminer les biais et les propos préjudiciables est une tâche difficile pour un modèle de langage. En publiant ces résultats et en reconnaissant les limites du modèle, OpenAI aide toutefois les utilisateurs à affiner leurs invites pour obtenir des réponses plus neutres et impartiales.

Fig. 6. Exemple de réponses différentes en fonction du nom de l’utilisateur.

Comprendre la recherche dans ChatGPT#

Au lancement de ChatGPT, la communauté de l’IA s’est demandé si l’outil pouvait remplacer la navigation Web traditionnelle. Aujourd’hui, de nombreux utilisateurs se servent de ChatGPT à la place de Google Search.

La nouvelle mise à jour d’OpenAI, la fonctionnalité Search, va encore plus loin. Avec Search, ChatGPT génère des réponses à jour et inclut des liens vers des sources pertinentes. Depuis le 31 octobre, la fonctionnalité Search est accessible à tous les utilisateurs de ChatGPT Plus et Team, ce qui rapproche le fonctionnement de ChatGPT de celui d’un moteur de recherche propulsé par l’IA.

Fig. 7. Exemple d’utilisation de la nouvelle fonctionnalité Search de ChatGPT.

La suite#

Les récentes mises à jour de ChatGPT visent à rendre l’IA plus utile, flexible et équitable. La nouvelle fonctionnalité Canvas aide les utilisateurs à travailler plus efficacement, tandis que le réglage fin de la vision permet aux développeurs de personnaliser les modèles pour mieux gérer les tâches visuelles. L’équité et la réduction des biais sont également des priorités, afin que l’IA fonctionne bien pour tout le monde, quelle que soit son identité. Que tu sois développeur et affines des modèles ou que tu utilises simplement les dernières fonctionnalités, ChatGPT évolue pour répondre à un large éventail de besoins. Grâce aux capacités en temps réel, à l’intégration visuelle et à l’accent mis sur une utilisation responsable, ces mises à jour contribuent à offrir à tous une expérience de l’IA plus fiable et digne de confiance.

Découvre l’IA en consultant notre dépôt GitHub et en rejoignant notre communauté. Pour en savoir plus sur les applications de l’IA dans la conduite autonome et les soins de santé, consulte nos ressources.