Modélisation linguistique

La modélisation du langage est une tâche fondamentale de l'intelligence artificielle (IA) et un élément essentiel du traitement du langage naturel (NLP). Elle consiste à développer des modèles capables de prédire la probabilité d'une séquence de mots. Un modèle de langage apprend les modèles, la grammaire et le contexte d'une langue à partir de grandes quantités de données textuelles. Cela lui permet de déterminer la probabilité qu'un mot donné apparaisse ensuite dans une phrase. Par exemple, si l'on considère la phrase "le chat s'est assis sur le", un modèle de langage bien entraîné attribuera une forte probabilité au mot "mat" et une très faible probabilité au mot "pomme de terre". Cette capacité de prédiction est à la base de nombreuses applications d'IA basées sur le langage.

Comment fonctionne la modélisation linguistique ?

La modélisation du langage est une tâche de l'apprentissage automatique qui consiste à entraîner un modèle à comprendre et à générer du langage humain. Le processus commence par l'alimentation du modèle en ensembles de données textuelles massives, tels que le contenu de Wikipédia ou une grande collection de livres. En analysant ces données, le modèle apprend les relations statistiques entre les mots.

Les modèles linguistiques modernes s'appuient fortement sur l'apprentissage profond (DL) et sont souvent construits à l'aide d'architectures de réseaux neuronaux (NN). L'architecture Transformer, présentée dans l'article "Attention Is All You Need", a été particulièrement révolutionnaire. Elle utilise un mécanisme d'attention qui permet au modèle de peser l'importance des différents mots dans le texte d'entrée, ce qui lui permet de saisir des dépendances complexes à longue portée et de comprendre le contexte plus efficacement. L'apprentissage du modèle consiste à ajuster les poids de son modèle interne afin de minimiser la différence entre ses prédictions et les séquences de texte réelles dans les données d'apprentissage, un processus optimisé à l'aide de la rétropropagation.

Applications de la modélisation linguistique dans le monde réel

Les capacités des modèles linguistiques ont conduit à leur intégration dans de nombreuses technologies que nous utilisons quotidiennement.

• Texte prédictif et complétion automatique: Lorsque le clavier de votre smartphone suggère le mot suivant au fur et à mesure que vous tapez, il utilise un modèle linguistique. En analysant la séquence des mots que vous avez déjà écrits, il prédit le mot le plus susceptible de suivre, ce qui accélère la communication. Cette technologie est au cœur de systèmes tels que Gboard de Google.
• La traduction automatique: Des services comme Google Translate et DeepL utilisent des modèles linguistiques sophistiqués pour traduire des textes d'une langue à l'autre. Ils ne se contentent pas d'effectuer une substitution mot à mot, mais analysent le sens et la structure du texte source pour générer une traduction grammaticalement correcte et contextuellement exacte dans la langue cible. Il s'agit d'une application des modèles séquence-séquence.
• Création de contenu et résumé: Les modèles de langage sont utilisés pour la génération de textes, où ils peuvent rédiger des articles, des courriels ou des histoires créatives. Ils alimentent également les outils de résumé de texte qui condensent de longs documents en résumés concis, et sont au cœur des chatbots interactifs.

Concepts connexes

Il est utile de distinguer la modélisation linguistique des termes apparentés :

• Traitement du langage naturel (NLP) : La modélisation du langage est un sous-domaine ou une tâche essentielle du TAL. Le TAL est le domaine plus large qui permet aux ordinateurs de traiter, d'analyser et de comprendre le langage humain en général. Consultez notre aperçu du TAL.
• Grands modèles linguistiques (LLM): Il s'agit essentiellement de très grands et puissants modèles de langage, généralement construits à l'aide de l'architecture Transformer et entraînés sur d'énormes ensembles de données, souvent en s'appuyant sur les principes du Big Data. Il s'agit par exemple de modèles tels que GPT-4 et BERT. Les LLM sont souvent considérés comme des modèles de base, un concept détaillé par le Centre de recherche sur les modèles de base (CRFM) de Stanford.
• Vision par ordinateur (CV): Alors que les modèles de langage traitent le texte, la vision par ordinateur permet aux machines d'interpréter et de comprendre les informations visuelles contenues dans les images et les vidéos. Les tâches comprennent la détection d'objets, la classification d'images et la segmentation d'images, souvent abordées par des modèles comme Ultralytics YOLO. L'intersection de ces domaines est explorée dans les modèles multimodaux et les modèles de langage visuel, qui traitent à la fois les données textuelles et visuelles. Des plateformes comme Ultralytics HUB rationalisent l'entraînement et le déploiement de divers modèles d'IA, y compris ceux destinés aux tâches de vision. Vous pouvez explorer les différentes tâches CV prises en charge par Ultralytics.