Le GPT-4o d’OpenAI révèle le potentiel de l’IA

Le lundi 13 mai 2024, OpenAI a annoncé le lancement de son nouveau modèle phare, GPT-4o, où le « o » signifie « omni ». GPT-4o est un modèle d’IA multimodal avancé destiné aux interactions en temps réel avec du texte, de l’audio et des images. Il offre un traitement plus rapide, une prise en charge multilingue et une sécurité renforcée.

Il apporte des capacités d’IA générative inédites. S’appuyant sur les capacités conversationnelles de ChatGPT, les fonctionnalités de GPT-4o marquent une avancée considérable dans la manière dont les gens perçoivent l’IA. Nous pouvons désormais parler à GPT-4o comme s’il s’agissait d’une véritable personne. Découvrons exactement ce dont GPT-4o est capable !

À la découverte de GPT-4o#

Lors de la mise à jour printanière d’OpenAI, il a été révélé que, bien que GPT-4o soit tout aussi intelligent que GPT-4, il traite les données plus rapidement et gère mieux le texte, les images et l’audio. Contrairement aux versions précédentes, qui se concentraient sur l’amélioration de l’intelligence des modèles, cette version a été conçue en tenant compte de la nécessité de rendre l’IA plus facile à utiliser pour le grand public.

Fig. 1 Mise à jour printanière d’OpenAI

Le mode vocal de ChatGPT, lancé à la fin de l’année dernière, reposait sur trois modèles différents qui transcrivaient les entrées vocales, comprenaient et généraient des réponses écrites, puis convertissaient le texte en parole afin que l’utilisateur puisse entendre une réponse. Ce mode souffrait de problèmes de latence et ne semblait pas très naturel. GPT-4o peut traiter nativement le texte, les images et l’audio en une seule fois, donnant à l’utilisateur l’impression de participer à une conversation naturelle.

De plus, contrairement au mode vocal, tu peux désormais interrompre GPT-4o pendant qu’il parle, et il réagira comme le ferait une personne. Il s’arrêtera et écoutera, puis donnera une réponse en temps réel en fonction de ce que tu as dit. Il peut également exprimer des émotions avec sa voix et comprendre ton intonation.

Les fonctionnalités passionnantes de GPT-4o#

L’évaluation du modèle GPT-4o montre à quel point il est avancé. L’un des résultats les plus intéressants est que GPT-4o améliore considérablement la reconnaissance vocale par rapport à Whisper-v3 dans toutes les langues, en particulier celles qui sont moins couramment utilisées.

Les performances de l’ASR (reconnaissance automatique de la parole) audio mesurent la précision avec laquelle un modèle transcrit la langue parlée en texte. Les performances de GPT-4o sont suivies à l’aide du taux d’erreur de mots (WER), qui indique le pourcentage de mots mal transcrits (un WER plus faible correspond à une meilleure qualité). Le graphique ci-dessous montre le WER plus faible de GPT-4o dans différentes régions, démontrant son efficacité pour améliorer la reconnaissance vocale des langues disposant de moins de ressources.

Fig. 2 GPT-4o offre une reconnaissance vocale supérieure dans plusieurs langues.

Voici quelques autres fonctionnalités uniques de GPT-4o :

• Plus rapide - Il est deux fois plus rapide que GPT-4 Turbo. Il peut répondre aux entrées audio en seulement 232 millisecondes, ce qui est comparable au temps de réponse d’une conversation humaine.
• Économique - La version API de GPT-4o coûte 50 % moins cher que GPT-4 Turbo.
• Mémoire - GPT-4o peut conserver le contexte entre différentes conversations. Il peut se souvenir de ce dont tu parles dans différents chats.
• Multilingue - GPT-4o a été entraîné pour offrir une vitesse et une qualité améliorées dans 50 langues différentes.

Exemples de ce que GPT-4o peut faire#

Tu peux désormais ouvrir GPT-4o sur ton téléphone, activer ta caméra et lui demander, comme tu le ferais à un ami, de deviner ton humeur à partir de ton expression faciale. GPT-4o peut te voir à travers la caméra et répondre.

Fig. 3 GPT-4o comprend l’humeur d’une personne grâce à la vidéo.

Tu peux même l’utiliser pour t’aider à résoudre des problèmes de mathématiques en montrant à GPT-4o ce que tu écris grâce à la vidéo. Tu peux aussi partager ton écran afin qu’il joue le rôle d’un tuteur utile sur Khan Academy, en te demandant d’indiquer différentes parties d’un triangle en géométrie, comme illustré ci-dessous.

Fig. 4 GPT-4o joue le rôle d’un tuteur sur Khan Academy.

Au-delà de l’aide aux enfants en mathématiques, les développeurs peuvent converser avec GPT-4o pour déboguer leur code. Cela est possible grâce à l’introduction de ChatGPT sous forme d’application de bureau. Si tu sélectionnes et copies ton code avec CTRL « C » tout en parlant à l’application vocale GPT-4o pour ordinateur, celle-ci pourra lire ton code. Tu peux aussi l’utiliser pour traduire les conversations entre développeurs parlant des langues différentes.

Les possibilités offertes par GPT-4o semblent infinies. L’une des démonstrations les plus intéressantes d’OpenAI utilisait deux téléphones pour montrer GPT-4o parler à différentes instances de lui-même et chanter avec elles.

Fig. 5 Une IA parle et chante avec une autre IA.

Applications de GPT-4o#

Comme l’a montré une démonstration, GPT-4o peut rendre le monde plus accessible aux personnes atteintes de déficience visuelle. Il peut les aider à interagir avec leur environnement et à se déplacer de manière plus sûre et autonome. Par exemple, les utilisateurs peuvent activer leur caméra et montrer à GPT-4o une vue de la rue. GPT-4o peut alors fournir des descriptions en temps réel de l’environnement, notamment identifier les obstacles, lire les panneaux de signalisation ou les guider vers un lieu précis. Il peut même les aider à héler un taxi en les avertissant lorsqu’un taxi approche.

Fig. 6 GPT-4o signale l’approche d’un taxi.

De même, GPT-4o peut transformer divers secteurs grâce à ses capacités avancées. Dans le domaine de la vente au détail, il peut améliorer le service client en fournissant une assistance en temps réel, en répondant aux questions et en aidant les clients à trouver des produits en ligne comme en magasin. Supposons que tu regardes un rayon de produits sans parvenir à trouver celui que tu cherches : GPT-4o peut t’aider.

Dans le domaine de la santé, GPT-4o peut aider au diagnostic en analysant les données des patients, en suggérant des pathologies possibles à partir des symptômes et en fournissant des conseils sur les options de traitement. Il peut également aider les professionnels de santé en résumant les dossiers des patients, en offrant un accès rapide à la littérature médicale et même en assurant une traduction linguistique en temps réel pour communiquer avec des patients parlant différentes langues. Ce ne sont que quelques exemples. Les applications de GPT-4o facilitent la vie quotidienne en fournissant une assistance personnalisée et sensible au contexte, tout en réduisant les obstacles à l’accès à l’information et à la communication.

GPT-4o et la sécurité des modèles#

Tout comme les versions précédentes de GPT, qui ont eu un impact sur des centaines de millions de vies, GPT-4o interagira probablement avec des contenus audio et vidéo en temps réel à l’échelle mondiale, faisant de la sécurité un élément crucial de ces applications. OpenAI a pris de grandes précautions pour concevoir GPT-4o en mettant l’accent sur l’atténuation des risques potentiels.

Pour garantir la sécurité et la fiabilité, OpenAI a mis en œuvre des mesures de sécurité rigoureuses. Elles comprennent le filtrage des données d’entraînement, l’affinement du comportement du modèle après l’entraînement et l’intégration de nouveaux systèmes de sécurité pour gérer les sorties vocales. En outre, GPT-4o a été testé de manière approfondie par plus de 70 experts externes dans des domaines tels que la psychologie sociale, les biais et l’équité, ainsi que la désinformation. Les tests externes permettent de s’assurer que les risques introduits ou amplifiés par les nouvelles fonctionnalités sont identifiés et traités.

Pour maintenir des normes de sécurité élevées, OpenAI déploie progressivement les fonctionnalités de GPT-4o au cours des prochaines semaines. Un déploiement par étapes permet à OpenAI de surveiller les performances, de résoudre les problèmes éventuels et de recueillir les retours des utilisateurs. Cette approche prudente garantit que GPT-4o offre des capacités avancées tout en respectant les normes les plus élevées en matière de sécurité et d’utilisation éthique.

Essaie GPT-4o toi-même#

GPT-4o est accessible gratuitement. Pour essayer les capacités de conversation en temps réel mentionnées ci-dessus, tu peux télécharger l’application ChatGPT depuis Google Play Store ou l’Apple App Store directement sur ton téléphone.

Après t’être connecté, tu pourras sélectionner GPT-4o dans la liste affichée en appuyant sur les trois points dans le coin supérieur droit de l’écran. Après avoir ouvert une conversation compatible avec GPT-4o, appuie sur le signe plus dans le coin inférieur gauche de l’écran pour afficher plusieurs options de saisie. Dans le coin inférieur droit de l’écran, tu verras une icône représentant un casque. En sélectionnant cette icône, il te sera demandé si tu souhaites utiliser GPT-4o en mode mains libres. Après avoir accepté, tu pourras essayer GPT-4o, comme illustré ci-dessous.

Fig. 7. Essayer GPT-4o sur l’application mobile ChatGPT.

Si tu souhaites intégrer les capacités avancées de GPT-4o à tes propres projets, il est disponible sous forme d’API pour les développeurs. Elle te permet d’intégrer la puissante reconnaissance vocale de GPT-4o, sa prise en charge multilingue et ses capacités conversationnelles en temps réel à tes applications. En utilisant l’API, tu peux améliorer l’expérience utilisateur, créer des applications plus intelligentes et apporter une technologie d’IA de pointe à différents secteurs.

GPT-4o : pas encore tout à fait humain#

Bien que GPT-4o soit bien plus avancé que les modèles d’IA précédents, il est important de se rappeler qu’il a ses propres limites. OpenAI a indiqué qu’il pouvait parfois changer de langue de manière aléatoire pendant une conversation, en passant de l’anglais au français. OpenAI a également constaté que GPT-4o pouvait effectuer des traductions incorrectes entre les langues. À mesure que davantage de personnes essaieront le modèle, nous comprendrons mieux ses points forts et les aspects qui nécessitent encore des améliorations.

En résumé#

Le GPT-4o d’OpenAI ouvre de nouvelles perspectives pour l’IA grâce à son traitement avancé du texte, des images et de l’audio, offrant des interactions naturelles et semblables à celles d’un humain. Il se distingue par sa vitesse, son rapport coût-efficacité et sa prise en charge multilingue. GPT-4o est un outil polyvalent pour l’éducation, l’accessibilité et l’assistance en temps réel. À mesure que les utilisateurs explorent ses capacités, leurs retours contribueront à son évolution. GPT-4o montre que l’IA transforme véritablement notre monde et devient une composante de notre vie quotidienne.

Explore notre dépôt GitHub et rejoins notre communauté pour approfondir tes connaissances en IA. Consulte nos pages consacrées aux solutions pour découvrir comment l’IA transforme des secteurs comme l’industrie manufacturière et l’agriculture.