GPT-4o d’OpenAI met en évidence le potentiel de l’IA

Le lundi 13 mai 2024, OpenAI a annoncé le lancement de son nouveau modèle phare, GPT-4o, où le « o » signifie « omni ». GPT-4o est un modèle d’IA multimodal avancé conçu pour les interactions en temps réel par texte, audio et vision, avec un traitement plus rapide, une prise en charge multilingue et une sécurité renforcée.

Cela apporte de nouvelles capacités d’IA générative. En s’appuyant sur les atouts conversationnels de ChatGPT, les fonctionnalités de GPT-4o marquent une avancée considérable dans la perception de l’IA par les gens. Nous pouvons désormais parler à GPT-4o comme s’il s’agissait d’une vraie personne. Voyons ce que GPT-4o est capable de faire !

Découvrir GPT-4o#

Lors de la présentation printanière d’OpenAI, il a été révélé que GPT-4o est aussi intelligent que GPT-4, mais qu’il traite les données plus rapidement et gère mieux le texte, la vision et l’audio. Contrairement aux versions précédentes, qui visaient à rendre les modèles plus intelligents, cette version a été conçue en tenant compte de la nécessité de rendre l’IA plus facile à utiliser pour le grand public.

Fig. 1. Présentation printanière d’OpenAI

Le mode vocal de ChatGPT, lancé à la fin de l’année dernière, faisait appel à trois modèles distincts pour transcrire les entrées vocales, comprendre et générer des réponses écrites, puis convertir le texte en parole afin que l’utilisateur puisse entendre une réponse. Ce mode souffrait de problèmes de latence et ne semblait pas très naturel. GPT-4o peut traiter nativement le texte, la vision et l’audio en une seule fois, donnant à l’utilisateur l’impression de participer à une conversation naturelle.

De plus, contrairement au mode vocal, tu peux maintenant interrompre GPT-4o pendant qu’il parle, et il réagira comme une personne. Il s’arrêtera et écoutera, puis répondra en temps réel à ce que tu as dit. Il peut aussi exprimer des émotions avec sa voix et comprendre ton intonation.

Fonctionnalités impressionnantes de GPT-4o#

L’évaluation du modèle GPT-4o montre à quel point il est avancé. L’un des résultats les plus intéressants révèle que GPT-4o améliore considérablement la reconnaissance vocale par rapport à Whisper-v3 dans toutes les langues, en particulier celles qui sont moins couramment utilisées.

Les performances de la reconnaissance automatique de la parole (ASR) audio mesurent la précision avec laquelle un modèle transcrit la langue parlée en texte. Les performances de GPT-4o sont évaluées selon le taux d’erreur sur les mots (WER), qui indique le pourcentage de mots mal transcrits (un WER plus faible correspond à une meilleure qualité). Le graphique ci-dessous montre que le WER de GPT-4o est plus faible dans différentes régions, ce qui témoigne de son efficacité à améliorer la reconnaissance vocale pour les langues moins dotées.

Fig. 2. GPT-4o offre une reconnaissance vocale supérieure dans plusieurs langues.

Voici quelques autres fonctionnalités propres à GPT-4o :

• Plus rapide : il est deux fois plus rapide que GPT-4 Turbo. Il peut répondre aux entrées audio en seulement 232 millisecondes, un délai comparable à celui d’une conversation humaine.
• Plus économique : la version API de GPT-4o coûte 50 % moins cher que GPT-4 Turbo.
• Mémoire : GPT-4o peut conserver le fil de différentes conversations. Il peut se souvenir de ce dont tu parles dans différents chats.
• Multilingue : GPT-4o a été entraîné pour gagner en vitesse et en qualité dans 50 langues différentes.

Exemples de ce que GPT-4o peut faire#

Tu peux maintenant lancer GPT-4o sur ton téléphone, activer ta caméra et lui demander, comme tu le ferais avec un ami, de deviner ton humeur à partir de ton expression faciale. GPT-4o peut te voir à travers la caméra et te répondre.

Fig. 3. GPT-4o déduit l’humeur d’une personne à partir d’une vidéo.

Tu peux même l’utiliser pour t’aider à résoudre des problèmes de maths en montrant à GPT-4o ce que tu écris par vidéo. Tu peux aussi partager ton écran : GPT-4o peut alors te servir de tuteur sur Khan Academy, en te demandant d’indiquer différentes parties d’un triangle en géométrie, comme dans l’exemple ci-dessous.

Fig. 4. GPT-4o joue le rôle de tuteur sur Khan Academy.

En plus d’aider les enfants en mathématiques, les développeurs peuvent discuter avec GPT-4o pour déboguer leur code. Cela est possible grâce à la mise à disposition de ChatGPT sous forme d’application de bureau. Si tu sélectionnes et copies ton code avec Ctrl+C tout en parlant à l’application vocale GPT-4o pour ordinateur, elle pourra lire ton code. Tu peux aussi l’utiliser pour traduire des conversations entre développeurs qui parlent des langues différentes.

Les utilisations possibles sont nombreuses. L’une des démonstrations les plus intéressantes d’OpenAI utilisait deux téléphones pour montrer GPT-4o en train de dialoguer avec différentes instances de lui-même et de chanter avec elles.

Fig. 5. Une IA parle et chante avec une IA.

Applications de GPT-4o#

Comme le montre une démonstration, GPT-4o peut rendre le monde plus accessible aux personnes malvoyantes. Il peut les aider à interagir et à se déplacer plus sûrement et de façon plus autonome. Par exemple, les utilisateurs peuvent activer leur caméra et montrer à GPT-4o une vue de la rue. GPT-4o peut alors décrire l’environnement en temps réel, par exemple en identifiant les obstacles, en lisant les panneaux de signalisation ou en les guidant vers un endroit précis. Il peut même les aider à héler un taxi en les avertissant lorsqu’un taxi approche.

Fig. 6. GPT-4o signale l’arrivée d’un taxi.

GPT-4o peut également être utilisé dans différents secteurs. Dans le commerce de détail, il peut améliorer le service client en fournissant une assistance en temps réel, en répondant aux questions et en aidant les clients à trouver des produits, en ligne comme en magasin. Imagine que tu regardes un rayon de produits sans parvenir à repérer celui que tu cherches : GPT-4o peut t’aider à le trouver.

Dans le secteur de la santé, GPT-4o peut contribuer au diagnostic en analysant les données des patients, en suggérant des affections possibles à partir des symptômes et en proposant des conseils sur les options de traitement. Il peut aussi aider les professionnels de santé en résumant les dossiers des patients, en donnant rapidement accès à la littérature médicale et même en traduisant des conversations en temps réel pour communiquer avec des patients qui parlent d’autres langues. Ce ne sont là que quelques exemples. Les applications de GPT-4o facilitent la vie quotidienne en offrant une assistance personnalisée et tenant compte du contexte, tout en levant les obstacles à l’accès à l’information et à la communication.

GPT-4o et la sécurité des modèles#

Tout comme les versions précédentes de GPT, qui ont eu un impact sur des centaines de millions de vies, GPT-4o interagira probablement avec des flux audio et vidéo en temps réel à l’échelle mondiale, ce qui fait de la sécurité un enjeu crucial pour ces applications. OpenAI a pris de grandes précautions lors de la conception de GPT-4o afin d’atténuer les risques potentiels.

Pour garantir la sécurité et la fiabilité, OpenAI a mis en place des mesures rigoureuses. Elles comprennent le filtrage des données d’entraînement, l’ajustement du comportement du modèle après l’entraînement et l’intégration de nouveaux systèmes de sécurité pour gérer les sorties vocales. De plus, GPT-4o a été testé de manière approfondie par plus de 70 experts externes dans des domaines tels que la psychologie sociale, les biais et l’équité, ainsi que la désinformation. Ces tests externes permettent de repérer et de traiter les risques introduits ou amplifiés par les nouvelles fonctionnalités.

Pour maintenir des normes de sécurité élevées, OpenAI déploie progressivement les fonctionnalités de GPT-4o au cours des prochaines semaines. Un déploiement par étapes permet à OpenAI de surveiller les performances, de résoudre les problèmes éventuels et de recueillir les commentaires des utilisateurs. Cette approche prudente garantit que GPT-4o offre des capacités avancées tout en respectant les normes les plus élevées en matière de sécurité et d’utilisation éthique.

Essaie GPT-4o#

GPT-4o est accessible gratuitement. Pour essayer les capacités de conversation en temps réel mentionnées plus haut, tu peux télécharger l’application ChatGPT depuis Google Play Store ou Apple App Store directement sur ton téléphone.

Après t’être connecté, tu pourras sélectionner GPT-4o dans la liste affichée en appuyant sur les trois points dans le coin supérieur droit de l’écran. Une fois dans une conversation avec GPT-4o, appuie sur le signe plus dans le coin inférieur gauche de l’écran pour afficher plusieurs options de saisie. Une icône de casque apparaît dans le coin inférieur droit de l’écran. En appuyant dessus, tu devras indiquer si tu souhaites découvrir une version mains libres de GPT-4o. Après avoir accepté, tu pourras essayer GPT-4o, comme dans l’exemple ci-dessous.

Fig. 7. Essayer GPT-4o dans l’application mobile ChatGPT.

Si tu souhaites intégrer les capacités avancées de GPT-4o à tes propres projets, il est disponible pour les développeurs sous la forme d’une API. Elle te permet d’intégrer à tes applications la puissante reconnaissance vocale de GPT-4o, sa prise en charge multilingue et ses capacités conversationnelles en temps réel. En utilisant l’API, tu peux améliorer l’expérience utilisateur, créer des applications plus intelligentes et déployer une technologie d’IA de pointe dans différents secteurs.

GPT-4o : pas encore tout à fait humain#

Bien que GPT-4o soit beaucoup plus avancé que les modèles d’IA précédents, il est important de garder à l’esprit ses propres limites. OpenAI a indiqué qu’il pouvait parfois changer de langue de façon aléatoire en pleine conversation, passant de l’anglais au français. OpenAI a également constaté que GPT-4o effectuait parfois des traductions incorrectes entre les langues. À mesure que davantage de personnes essaieront le modèle, nous comprendrons mieux ses points forts et les aspects qui nécessitent encore des améliorations. Pour les tâches de vision comme la détection d’objets, les nouveaux modèles d’OpenAI, tels que GPT-6.1 Sol et GPT-6 Astra, sont comparés à d’autres modèles vision-langage dans le VLM Leaderboard.

En résumé#

GPT-4o d’OpenAI ouvre de nouvelles perspectives pour l’IA grâce à ses capacités avancées de traitement du texte, de la vision et de l’audio, qui permettent des interactions naturelles et proches de celles avec un humain. Il se distingue par sa rapidité, son faible coût et sa prise en charge multilingue. GPT-4o est un outil polyvalent pour l’éducation, l’accessibilité et l’assistance en temps réel. À mesure que les utilisateurs découvriront les capacités de GPT-4o, leurs retours contribueront à son évolution. GPT-4o montre comment l’IA s’intègre à notre quotidien.

Explore notre dépôt GitHub et rejoins notre communauté pour approfondir tes connaissances en IA. Consulte nos pages de solutions pour découvrir comment l’IA transforme des secteurs comme l’industrie manufacturière et l’agriculture.