2024 commence sous le signe de l’IA générative

La communauté de l’IA fait presque chaque jour la une de l’actualité. Les premiers mois de 2024 ont été passionnants et riches en innovations dans le domaine de l’IA. Des nouveaux grands modèles de langage puissants aux implants cérébraux, 2024 s’annonce comme une année majeure pour l’IA.

Nous voyons l’IA transformer les secteurs d’activité, rendre l’information plus accessible et même faire ses premiers pas vers la fusion de nos esprits avec des machines. Revenons sur le premier trimestre 2024 et examinons de plus près les progrès réalisés dans le domaine de l’IA en seulement quelques mois.

Les grands modèles de langage sont en vogue#

Les grands modèles de langage (LLMs), conçus pour comprendre, générer et manipuler le langage humain à partir d’immenses quantités de données textuelles, ont occupé le devant de la scène au premier trimestre 2024. De grandes entreprises technologiques ont lancé leurs propres LLMs, chacun doté de capacités uniques. Le succès des premiers LLMs comme GPT-3 a inspiré cette tendance. Voici quelques-uns des lancements de LLMs les plus remarquables du début de 2024.

Claude 3 d’Anthropic#

Anthropic a lancé Claude 3 le 4 mars 2024. Le modèle Claude 3 se décline en trois versions : Opus, Sonnet et Haiku, chacune répondant à des marchés et à des besoins différents. Haiku, le modèle le plus rapide, est optimisé pour les réponses simples et rapides. Sonnet allie vitesse et intelligence et s’adresse aux applications d’entreprise. Opus, la version la plus performante, est conçue pour les tâches de raisonnement complexes et se classait en tête de nombreux tests de référence lors de son lancement.

Comme nous l’avons expliqué dans notre présentation de la fiche du modèle Claude 3, Claude 3 apporte plusieurs fonctionnalités et améliorations :

• Conversations multilingues améliorées : capacités renforcées dans des langues comme l’espagnol, le japonais et le français.
• Fonctionnalités avancées de vision : capacité à traiter différents formats visuels.
• Réduction des refus : le modèle comprend mieux les demandes et formule moins de refus inutiles, signe d’une meilleure compréhension du contexte.
• Fenêtre de contexte étendue : elle atteint 200K, mais le modèle peut traiter des entrées de plus d’un million de jetons selon les besoins des clients.

Fig. 1. Claude 3 comprend mieux le contexte que les versions précédentes.

DBRX de Databricks#

Databricks DBRX est un LLM généraliste ouvert, lancé par Databricks le 27 mars 2024. DBRX obtient de bons résultats sur différents benchmarks, notamment en compréhension du langage, en programmation et en mathématiques. Il dépasse d’autres modèles bien établis tout en étant environ 40 % plus petit que des modèles similaires.

Fig. 2. Comparaison de DBRX avec d’autres modèles.

DBRX a été entraîné par prédiction du jeton suivant avec une architecture à mélange d’experts (MoE) finement structurée, ce qui améliore considérablement l’efficacité de l’entraînement et de l’inférence. Son architecture permet au modèle de prédire plus précisément le mot suivant d’une séquence en faisant appel à un ensemble diversifié de sous-modèles spécialisés (les « experts »). Ces sous-modèles sont adaptés au traitement de différents types d’informations ou de tâches.

Gemini 1.5 de Google#

Le 15 février 2024, Google a présenté Gemini 1.5, un modèle d’IA multimodal économe en calcul, capable d’analyser de grandes quantités de texte, de vidéo et de données audio. Le dernier modèle est plus avancé en matière de performances, d’efficacité et de capacités. Gemini 1.5 se distingue notamment par une avancée majeure dans la compréhension des contextes longs. Il peut traiter de manière cohérente jusqu’à 1 million de jetons. Les capacités de Gemini 1.5 reposent également sur une nouvelle architecture basée sur le MoE.

Fig. 3. Comparaison des longueurs de contexte de grands modèles de langage populaires

Voici quelques-unes des fonctionnalités les plus intéressantes de Gemini 1.5 :

• Gestion améliorée des données : permet de téléverser directement de grands fichiers PDF, des dépôts de code ou de longues vidéos comme prompts. Le modèle peut raisonner à travers plusieurs modalités et générer du texte.
• Téléversement et requêtes portant sur plusieurs fichiers : les développeurs peuvent désormais téléverser plusieurs fichiers et poser des questions.
• Utilisable pour différentes tâches : il est optimisé pour s’adapter à diverses tâches et affiche des progrès dans des domaines comme les mathématiques, les sciences, le raisonnement, le multilinguisme, la compréhension vidéo et le code.

Des visuels époustouflants générés par l’IA#

Le premier trimestre 2024 a vu apparaître des modèles d’IA générative capables de créer des images si réalistes qu’ils ont suscité des débats sur l’avenir des réseaux sociaux et les progrès de l’IA. Voici les modèles qui alimentent ces discussions.

Sora d’OpenAI#

OpenAI, le créateur de ChatGPT, a annoncé le 15 février 2024 Sora, un modèle de deep learning de pointe qui transforme du texte en vidéo. Sora est un générateur texte-vidéo capable de créer, à partir de prompts textuels, des vidéos d’une minute offrant une grande qualité visuelle.

Par exemple, regarde le prompt suivant.

« Un monde en papier magnifiquement réalisé, représentant un récif corallien foisonnant de poissons colorés et de créatures marines. »

Et voici une image extraite de la vidéo générée.

Fig. 4. Image extraite d’une vidéo générée par Sora.

L’architecture de Sora rend cela possible en associant des modèles de diffusion pour générer les textures et des modèles Transformer pour assurer la cohérence structurelle. Pour l’instant, l’accès à Sora a été accordé à des équipes de red team et à un groupe restreint d’artistes visuels, de designers et de cinéastes, afin de comprendre les risques et de recueillir leurs commentaires.

Stable Diffusion 3 de Stability AI#

Stability AI a annoncé le lancement de Stable Diffusion 3, un modèle de génération d’images à partir de texte, le 22 février 2024. Le modèle associe une architecture de Transformer de diffusion à une technique d’appariement de flux. Aucun article technique n’a encore été publié, mais certaines caractéristiques clés méritent d’être suivies.

Fig. 5. Image générée à partir du prompt : « Illustration épique de style anime représentant un sorcier au sommet d’une montagne, la nuit, lançant dans le ciel sombre un sort cosmique formant les mots "Stable Diffusion 3" en énergie colorée » (Source)

La dernière version de Stable Diffusion offre de meilleures performances, une qualité d’image supérieure et une plus grande précision pour créer des images comportant plusieurs sujets. Stable Diffusion 3 proposera également plusieurs modèles, de 800 millions à 8 milliards de paramètres. Les utilisateurs pourront choisir celui qui répond à leurs besoins en matière d’évolutivité et de niveau de détail.

Lumiere de Google#

Le 23 janvier 2024, des chercheurs de Google ont présenté Lumiere, un modèle de diffusion qui génère des vidéos à partir de texte. Lumiere utilise une architecture appelée Space-Time-U-Net, ou STUNet en abrégé. Elle aide Lumiere à comprendre où se trouvent les éléments et comment ils se déplacent dans une vidéo. Le modèle peut ainsi générer des vidéos fluides et réalistes.

Fig. 6. Image extraite d’une vidéo générée à partir du prompt : « Un panda joue du ukulélé à la maison. »

Avec sa capacité à générer 80 images par vidéo, Lumiere marque une avancée notable dans la qualité des vidéos créées par l’IA. Voici quelques-unes de ses fonctionnalités :

• Image-vidéo : à partir d’une image et d’un prompt, Lumiere peut animer des images pour créer des vidéos.
• Génération stylisée : Lumiere peut créer des vidéos dans des styles précis à partir d’une seule image de référence.
• Cinemagraphes : Lumiere peut animer des zones précises d’une image pour créer des scènes dynamiques, par exemple en faisant bouger un objet tout en laissant le reste de la scène immobile.
• Retouche vidéo : Lumiere peut modifier certaines parties d’une vidéo, par exemple changer les vêtements des personnes ou modifier des détails de l’arrière-plan.

Le futur semble déjà là#

Le début de 2024 a également apporté de nombreuses innovations en IA dignes d’un film de science-fiction. Des choses que nous aurions auparavant jugées impossibles sont désormais en cours de réalisation. Avec les découvertes suivantes, le futur ne semble plus si lointain.

Neuralink d’Elon Musk#

Le 29 janvier 2024, Neuralink, la société d’Elon Musk, a implanté avec succès sa puce cérébrale sans fil chez un humain. Il s’agit d’une étape majeure vers la connexion des cerveaux humains aux ordinateurs. Elon Musk a indiqué que le premier produit de Neuralink, baptisé « Telepathy », était en préparation.

Fig. 7. L’implant Neuralink

L’objectif est de permettre aux utilisateurs, en particulier à ceux qui ont perdu l’usage de leurs membres, de contrôler facilement des appareils par la pensée. Les applications potentielles vont au-delà du simple confort. Elon Musk imagine un avenir où les personnes paralysées pourront communiquer facilement.

Le sol HoloTile de Disney#

Le 18 janvier 2024, Walt Disney Imagineering a dévoilé le sol HoloTile. Il a été qualifié de premier sol-tapis roulant omnidirectionnel au monde, conçu pour plusieurs personnes.

Fig. 8. L’imagineer de Disney Lanny Smoot pose sur sa dernière innovation, le sol HoloTile.

Il peut se déplacer sous n’importe quelle personne ou objet, comme par télékinésie, pour offrir une expérience immersive de réalité virtuelle et augmentée. Tu peux marcher dans n’importe quelle direction et éviter les collisions lorsque tu te trouves dessus. Le sol HoloTile de Disney peut également être installé sur des scènes de théâtre pour danser et se déplacer de façon créative.

Vision Pro d’Apple#

Le 2 février 2024, le casque Vision Pro, très attendu, d’Apple a été commercialisé. Il propose de nombreuses fonctionnalités et applications conçues pour redéfinir l’expérience de réalité virtuelle et augmentée. Le casque Vision Pro s’adresse à un public varié en associant divertissement, productivité et informatique spatiale. Apple a fièrement annoncé qu’au lancement, plus de 600 applications, allant des outils de productivité aux jeux et services de divertissement, étaient optimisées pour le Vision Pro.

Devin de Cognition#

Le 12 mars 2024, Cognition a lancé Devin, un assistant d’ingénierie logicielle. Il s’agit de la première tentative au monde de créer un ingénieur logiciel autonome basé sur l’IA. Contrairement aux assistants de programmation traditionnels, qui proposent des suggestions ou accomplissent des tâches spécifiques, Devin est conçu pour prendre en charge des projets complets de développement logiciel, de l’idée initiale à leur réalisation.

Il peut apprendre de nouvelles technologies, créer et déployer des applications complètes, trouver et corriger des bogues, entraîner ses propres modèles, contribuer à des bases de code open source et de production, et même accepter de véritables missions de développement sur des sites comme Upwork.

Fig. 9. Comparaison de Devin avec d’autres modèles.

Devin a été évalué sur SWE-bench, un benchmark exigeant qui demande aux agents de résoudre des problèmes réels signalés sur GitHub dans des projets open source comme Django et scikit-learn. Il a résolu correctement 13,86 % des problèmes de bout en bout, contre 1,96 % pour la meilleure performance précédente.

Autres mentions notables#

Il s’est passé tellement de choses qu’il est impossible de tout couvrir dans cet article, mais voici quelques autres mentions honorables.

• LATTE3D de NVIDIA, annoncé le 21 mars 2024, est un modèle d’IA texte-3D qui crée instantanément des représentations 3D à partir de prompts textuels.
• Le nouveau générateur texte-vidéo de Midjourney, présenté en avant-première par son PDG David Holz, a commencé son entraînement en janvier et devrait bientôt être lancé.
• Pour faire avancer la révolution des PC dotés d’IA, Lenovo a lancé le ThinkBook 13x, équipé de la technologie E Ink Prism, ainsi que des ordinateurs portables haute performance dotés d’IA, le 8 janvier 2024.

Suis avec nous les tendances de l’IA !#

Le début de 2024 a été marqué par des avancées majeures en IA et plusieurs jalons technologiques. Mais ce n’est que le début de ce que l’IA peut accomplir. Si tu veux en savoir plus sur les dernières avancées de l’IA, Ultralytics est là pour t’aider.

Consulte notre dépôt GitHub pour découvrir nos dernières contributions à la vision par ordinateur et à l’IA. Tu peux aussi consulter nos pages de solutions pour découvrir comment l’IA est utilisée dans des secteurs comme l’industrie manufacturière et la santé.