GPT-4o d’OpenAI met en évidence le potentiel de l’IA

Le lundi 13 mai 2024, OpenAI a annoncé le lancement de son nouveau modèle phare, GPT-4o, où le « o » signifie « omni ». GPT-4o est un modèle d’IA multimodal avancé conçu pour les interactions en temps réel par texte, audio et vision, avec un traitement plus rapide, une prise en charge multilingue et une sécurité renforcée.

Il apporte des capacités d’IA générative inédites. S’appuyant sur les atouts conversationnels de ChatGPT, les fonctionnalités de GPT-4o marquent une avancée majeure dans la façon dont les gens perçoivent l’IA. Nous pouvons désormais parler à GPT-4o comme à une vraie personne. Voyons précisément de quoi GPT-4o est capable !

Découvrir GPT-4o#

Lors de la présentation printanière d’OpenAI, il a été révélé que GPT-4o est aussi intelligent que GPT-4, mais qu’il traite les données plus rapidement et gère mieux le texte, la vision et l’audio. Contrairement aux versions précédentes, qui visaient à rendre les modèles plus intelligents, cette version a été conçue pour faciliter l’utilisation de l’IA par le grand public.

Fig. 1. Présentation printanière d’OpenAI

Le mode vocal de ChatGPT, lancé à la fin de l’année dernière, faisait appel à trois modèles distincts pour transcrire les entrées vocales, comprendre et générer des réponses écrites, puis convertir le texte en parole afin que l’utilisateur puisse entendre une réponse. Ce mode souffrait de problèmes de latence et ne semblait pas très naturel. GPT-4o peut traiter nativement le texte, la vision et l’audio en une seule fois, donnant à l’utilisateur l’impression de participer à une conversation naturelle.

De plus, contrairement au mode vocal, tu peux maintenant interrompre GPT-4o pendant qu’il parle, et il réagira comme une personne. Il s’arrêtera et écoutera, puis répondra en temps réel à ce que tu as dit. Il peut aussi exprimer des émotions avec sa voix et comprendre ton intonation.

Fonctionnalités impressionnantes de GPT-4o#

L’évaluation du modèle GPT-4o montre à quel point il est avancé. L’un des résultats les plus intéressants révèle que GPT-4o améliore considérablement la reconnaissance vocale par rapport à Whisper-v3 dans toutes les langues, en particulier celles qui sont moins couramment utilisées.

Les performances de la reconnaissance automatique de la parole (ASR) audio mesurent la précision avec laquelle un modèle transcrit la langue parlée en texte. Les performances de GPT-4o sont évaluées selon le taux d’erreur sur les mots (WER), qui indique le pourcentage de mots mal transcrits (un WER plus faible correspond à une meilleure qualité). Le graphique ci-dessous montre que le WER de GPT-4o est plus faible dans différentes régions, ce qui témoigne de son efficacité à améliorer la reconnaissance vocale pour les langues moins dotées.

Fig. 2. GPT-4o offre une reconnaissance vocale supérieure dans plusieurs langues.

Voici quelques autres fonctionnalités propres à GPT-4o :

• Plus rapide : il est deux fois plus rapide que GPT-4 Turbo. Il peut répondre aux entrées audio en seulement 232 millisecondes, un délai comparable à celui d’une conversation humaine.
• Plus économique : la version API de GPT-4o coûte 50 % moins cher que GPT-4 Turbo.
• Mémoire : GPT-4o peut conserver le fil de différentes conversations. Il peut se souvenir de ce dont tu parles dans différents chats.
• Multilingue : GPT-4o a été entraîné pour gagner en vitesse et en qualité dans 50 langues différentes.

Exemples de ce que GPT-4o peut faire#

Tu peux maintenant lancer GPT-4o sur ton téléphone, activer ta caméra et lui demander, comme tu le ferais avec un ami, de deviner ton humeur à partir de ton expression faciale. GPT-4o peut te voir à travers la caméra et te répondre.

Fig. 3. GPT-4o déduit l’humeur d’une personne à partir d’une vidéo.

Tu peux même l’utiliser pour t’aider à résoudre des problèmes de maths en montrant à GPT-4o ce que tu écris par vidéo. Tu peux aussi partager ton écran : GPT-4o peut alors te servir de tuteur sur Khan Academy, en te demandant d’indiquer différentes parties d’un triangle en géométrie, comme dans l’exemple ci-dessous.

Fig. 4. GPT-4o joue le rôle de tuteur sur Khan Academy.

Au-delà de l’aide aux enfants en maths, les développeurs peuvent discuter avec GPT-4o pour déboguer leur code. C’est possible grâce à l’arrivée de ChatGPT sous forme d’application de bureau. Si tu sélectionnes et copies ton code avec CTRL « C » pendant que tu parles à l’application vocale GPT-4o pour ordinateur, elle pourra lire ton code. Tu peux aussi l’utiliser pour traduire les conversations entre développeurs qui parlent des langues différentes.

Les possibilités offertes par GPT-4o semblent infinies. Lors de l’une des démonstrations les plus intéressantes d’OpenAI, deux téléphones montraient GPT-4o en train de dialoguer avec différentes instances de lui-même et de chanter avec elles.

Fig. 5. Une IA parle et chante avec une IA.

Applications de GPT-4o#

Comme le montre une démonstration, GPT-4o peut rendre le monde plus accessible aux personnes malvoyantes. Il peut les aider à interagir et à se déplacer plus sûrement et de façon plus autonome. Par exemple, les utilisateurs peuvent activer leur caméra et montrer à GPT-4o une vue de la rue. GPT-4o peut alors décrire l’environnement en temps réel, par exemple en identifiant les obstacles, en lisant les panneaux de signalisation ou en les guidant vers un endroit précis. Il peut même les aider à héler un taxi en les avertissant lorsqu’un taxi approche.

Fig. 6. GPT-4o signale l’arrivée d’un taxi.

De même, GPT-4o peut transformer différents secteurs grâce à ses capacités avancées. Dans le commerce de détail, il peut améliorer le service client en fournissant une assistance en temps réel, en répondant aux questions et en aidant les clients à trouver des produits en ligne ou en magasin. Imaginons que tu regardes un rayon de produits sans parvenir à repérer celui que tu cherches : GPT-4o peut t’aider.

Dans le secteur de la santé, GPT-4o peut contribuer au diagnostic en analysant les données des patients, en suggérant des affections possibles à partir des symptômes et en proposant des conseils sur les options de traitement. Il peut aussi aider les professionnels de santé en résumant les dossiers des patients, en donnant rapidement accès à la littérature médicale et même en traduisant des conversations en temps réel pour communiquer avec des patients qui parlent d’autres langues. Ce ne sont là que quelques exemples. Les applications de GPT-4o facilitent la vie quotidienne en offrant une assistance personnalisée et tenant compte du contexte, tout en levant les obstacles à l’accès à l’information et à la communication.

GPT-4o et la sécurité des modèles#

Tout comme les versions précédentes de GPT, qui ont eu un impact sur des centaines de millions de vies, GPT-4o interagira probablement avec des flux audio et vidéo en temps réel à l’échelle mondiale, ce qui fait de la sécurité un enjeu crucial pour ces applications. OpenAI a pris de grandes précautions lors de la conception de GPT-4o afin d’atténuer les risques potentiels.

Pour garantir la sécurité et la fiabilité, OpenAI a mis en place des mesures rigoureuses. Elles comprennent le filtrage des données d’entraînement, l’ajustement du comportement du modèle après l’entraînement et l’intégration de nouveaux systèmes de sécurité pour gérer les sorties vocales. De plus, GPT-4o a été testé de manière approfondie par plus de 70 experts externes dans des domaines tels que la psychologie sociale, les biais et l’équité, ainsi que la désinformation. Ces tests externes permettent de repérer et de traiter les risques introduits ou amplifiés par les nouvelles fonctionnalités.

Pour maintenir des normes de sécurité élevées, OpenAI déploie progressivement les fonctionnalités de GPT-4o au cours des prochaines semaines. Un déploiement par étapes permet à OpenAI de surveiller les performances, de résoudre les problèmes éventuels et de recueillir les commentaires des utilisateurs. Cette approche prudente garantit que GPT-4o offre des capacités avancées tout en respectant les normes les plus élevées en matière de sécurité et d’utilisation éthique.

Essaie GPT-4o#

GPT-4o est accessible gratuitement. Pour essayer les capacités de conversation en temps réel mentionnées plus haut, tu peux télécharger l’application ChatGPT depuis Google Play Store ou Apple App Store directement sur ton téléphone.

Après t’être connecté, tu pourras sélectionner GPT-4o dans la liste affichée en appuyant sur les trois points dans le coin supérieur droit de l’écran. Une fois dans une conversation avec GPT-4o, appuie sur le signe plus dans le coin inférieur gauche de l’écran pour afficher plusieurs options de saisie. Une icône de casque apparaît dans le coin inférieur droit de l’écran. En appuyant dessus, tu devras indiquer si tu souhaites découvrir une version mains libres de GPT-4o. Après avoir accepté, tu pourras essayer GPT-4o, comme dans l’exemple ci-dessous.

Fig. 7. Essayer GPT-4o dans l’application mobile ChatGPT.

Si tu souhaites intégrer les capacités avancées de GPT-4o à tes propres projets, il est disponible pour les développeurs sous la forme d’une API. Elle te permet d’intégrer à tes applications la puissante reconnaissance vocale de GPT-4o, sa prise en charge multilingue et ses capacités conversationnelles en temps réel. En utilisant l’API, tu peux améliorer l’expérience utilisateur, créer des applications plus intelligentes et déployer une technologie d’IA de pointe dans différents secteurs.

GPT-4o : pas encore tout à fait humain#

Bien que GPT-4o soit bien plus avancé que les modèles d’IA précédents, il est important de garder à l’esprit qu’il a ses propres limites. OpenAI a indiqué qu’il peut parfois changer de langue de façon aléatoire pendant une conversation, en passant de l’anglais au français. OpenAI a également constaté que GPT-4o pouvait faire des erreurs de traduction entre les langues. À mesure que davantage de personnes essaieront le modèle, nous comprendrons mieux ses points forts et les aspects qui doivent encore être améliorés.

En résumé#

GPT-4o d’OpenAI ouvre de nouvelles perspectives pour l’IA grâce à son traitement avancé du texte, de la vision et de l’audio, qui permet des interactions naturelles, proches de celles avec un humain. Il se distingue par sa vitesse, son rapport coût-efficacité et sa prise en charge multilingue. GPT-4o est un outil polyvalent pour l’éducation, l’accessibilité et l’assistance en temps réel. À mesure que les utilisateurs explorent les capacités de GPT-4o, leurs commentaires contribueront à son évolution. GPT-4o montre que l’IA transforme véritablement notre monde et s’intègre à notre quotidien.

Explore notre dépôt GitHub et rejoins notre communauté pour approfondir tes connaissances en IA. Consulte nos pages de solutions pour découvrir comment l’IA transforme des secteurs comme l’industrie manufacturière et l’agriculture.