Grand modèle linguistique (LLM)

Les grands modèles de langage (LLM) représentent une avancée significative dans le domaine de l'intelligence artificielle (IA), en particulier dans le traitement du langage naturel (NLP). Ces modèles se caractérisent par leur échelle immense, contenant souvent des milliards de paramètres, et sont entraînés sur de vastes ensembles de données comprenant du texte et du code. Cet entraînement poussé permet aux LLM de comprendre le contexte, de générer des textes cohérents et semblables à ceux des humains, de traduire des langues, de répondre à des questions et d'effectuer un large éventail de tâches basées sur le langage avec une compétence remarquable. Il s'agit d'un type spécifique de modèle d'apprentissage profond (DL), qui stimule l'innovation dans de nombreuses applications et constitue la pierre angulaire de l'IA générative moderne.

Définition

Un grand modèle linguistique est fondamentalement un réseau neuronal sophistiqué, généralement basé sur l'architecture Transformer, présentée dans l'article influent"Attention Is All You Need" (L'attention est tout ce dont vous avez besoin). Le terme "grand" dans LLM fait référence au nombre considérable de paramètres - variablesajustées au cours de la formation - qui peut aller de plusieurs milliards à plusieurs milliers de milliards. En général, un nombre plus élevé de paramètres permet au modèle d'apprendre des modèles plus complexes à partir des données.

Les LLM apprennent ces modèles par un apprentissage non supervisé sur des corpus de textes massifs recueillis sur Internet, dans des livres et d'autres sources, souvent appelés " Big Data". Ce processus les aide à saisir la grammaire, les faits, les capacités de raisonnement et même des nuances telles que le ton et le style, bien qu'il puisse également les amener à apprendre les biais présents dans les données de formation. L'une des principales capacités développées au cours de la formation consiste à prédire les mots suivants dans une phrase. Cette capacité de prédiction constitue la base de tâches plus complexes telles que la génération de textes, la modélisation linguistique et la réponse aux questions.

Parmi les exemples les plus connus, citons la série GPT d ' OpenAI (comme GPT-4), les modèles de lamas de Meta AI tels que Llama 3, Gemini de Google DeepMind et Claude d'Anthropic.

Applications

La polyvalence des LLM leur permet d'être appliqués dans divers domaines. Voici deux exemples concrets :

• L'IA conversationnelle: Les LLM sont les moteurs de nombreux chatbots et assistants virtuels avancés. Ils permettent à ces systèmes de comprendre les requêtes des utilisateurs, de maintenir le contexte des conversations et de générer des réponses à consonance naturelle. Le ChatGPT d'OpenAI, qui utilise les LLM pour engager des dialogues détaillés, répondre aux questions de suivi et même admettre des erreurs, en est un excellent exemple.
• Création de contenu et résumés: Les LLM peuvent aider les humains à générer diverses formes de contenu écrit, notamment des articles, des courriels, des textes de marketing et des textes créatifs. Ils sont également compétents en matière de résumé de texte, condensant de longs documents en aperçus concis, ce qui permet de lutter contre la surcharge d'informations. Des outils tels que Jasper et Microsoft Copilot exploitent les LLM à ces fins.

Concepts clés

Pour comprendre les MLD, il faut se familiariser avec plusieurs concepts connexes :

• Modèles de fondation: Les LLM sont souvent considérés comme des modèles de base parce qu'ils sont formés sur des données générales et peuvent être adaptés (ou affinés) pour un large éventail de tâches en aval sans avoir besoin d'être formés à partir de zéro.
• Mécanismes d'attention: Ces mécanismes permettent au modèle d'évaluer l'importance des différents mots (tokens) dans la séquence d'entrée lors du traitement d'un mot particulier. Cet aspect est essentiel pour comprendre le contexte et les relations au sein du texte.
• Prompt Engineering: Il s'agit de l'art et de la science de la conception d'invites d'entrée efficaces pour guider un LLM vers la production du résultat souhaité. La qualité de l'invite influence considérablement la précision et la pertinence de la réponse. Des techniques telles que la chaîne de pensée permettent d'améliorer le raisonnement dans les tâches complexes.
• La tokenisation: Avant de traiter un texte, les LLM le décomposent en unités plus petites appelées " tokens". Ces jetons peuvent être des mots, des sous-mots ou des caractères. La tokenisation convertit le texte brut en un format numérique que le modèle peut comprendre. Des plateformes telles que Hugging Face fournissent des outils et des informations sur les différentes stratégies de tokenisation.

LLM et modèles de vision par ordinateur

Bien que les LLM excellent dans les tâches linguistiques, ils diffèrent considérablement des modèles principalement conçus pour la vision par ordinateur (VA). Les modèles CV, tels que les modèles YOLO d'Ultralytics (par exemple, YOLOv8, YOLOv9, YOLOv10 et YOLO11), sont spécialisés dans l'interprétation d'informations visuelles provenant d'images ou de vidéos. Leurs tâches comprennent la détection d'objets, la classification d'images et la segmentation d'instances.

Cependant, la frontière s'estompe avec l'essor des modèles multimodaux et des modèles de langage de vision (VLM). Ces modèles, comme le GPT-4o d'OpenAI ou le Gemini de Google, intègrent la compréhension de différentes modalités (texte et images, par exemple), ce qui permet d'accomplir des tâches telles que la description d'images ou la réponse à des questions sur un contenu visuel.

Des plateformes comme Ultralytics HUB fournissent des outils et une infrastructure pour la formation et le déploiement de divers modèles d'IA, y compris pour les tâches de vision, facilitant ainsi le développement de diverses applications d'IA. À mesure que les LLM et autres modèles d'IA deviennent plus puissants, les considérations relatives à l'éthique de l'IA, aux biais algorithmiques et à la confidentialité des données deviennent de plus en plus importantes. Pour plus d'informations sur les concepts d'IA et les comparaisons de modèles, consultez la documentation Ultralytics et les pages de comparaison de modèles.