Large Concept Models (LCMs)

Les modèles de concepts à grande échelle (LCMs) sont des modèles d’IA qui traitent et génèrent des informations sous forme d’unités sémantiques de niveau supérieur, ou « concepts », plutôt que de prédire un seul token de texte à la fois. Dans un LCM classique, un concept peut représenter la signification d’une phrase, d’un énoncé, d’un événement ou d’une action sous la forme d’un vecteur numérique. Cette approche au niveau des concepts peut aider un modèle à organiser de longues séquences, à transférer le sens d’une langue à l’autre et à raisonner sur des idées sans rattacher chaque étape interne à une formulation précise.

Fonctionnement des modèles de concepts à grande échelle#

Un grand modèle de langage conventionnel divise le texte en tokens, tels que des mots, des sous-mots ou des signes de ponctuation. Le modèle prédit ensuite le token suivant de manière répétée. Le guide de tokenisation de TensorFlow montre comment le texte peut être divisé en ces petites unités.

Un LCM déplace l’étape principale de modélisation vers un niveau supérieur :

1. Un encodeur convertit une phrase ou une autre unité porteuse de sens en un embedding, c’est-à-dire une représentation numérique dense de sa signification.
2. Le modèle examine une séquence d’embeddings de concepts et prédit la représentation du concept suivant.
3. Un décodeur convertit la représentation prédite en langage naturel, en parole ou dans une autre forme de sortie.

Dans cette conception, les phrases de sens similaire devraient occuper des régions proches dans l’espace latent du modèle. La présentation générale des embeddings de Google explique comment ces espaces vectoriels capturent les relations, tandis que son guide sur la mesure de la similarité entre les embeddings présente des méthodes telles que la similarité cosinus.

Une phrase constitue un proxy pratique d’un concept, et non une définition universelle. Une phrase peut contenir plusieurs idées, tandis qu’un concept important peut s’étendre sur plusieurs phrases.

Comparaison des LCM avec des modèles apparentés#

Les LCM se distinguent principalement par la granularité et la structure de leurs prédictions internes.

• LCMs et grands modèles de langage : Les LLM prédisent généralement directement des tokens. Les LCM prédisent des représentations sémantiques de niveau supérieur et s’appuient sur des encodeurs et des décodeurs distincts pour relier ces représentations au langage.
• LCMs et modèles de vision et de langage : Les VLM relient les informations visuelles et linguistiques. Un LCM peut accepter des embeddings de concepts visuels, mais la prédiction au niveau des concepts ne rend pas intrinsèquement un modèle multimodal.
• LCMs et modèles à goulot d’étranglement conceptuel : Les modèles à goulot d’étranglement conceptuel utilisent des attributs explicites, souvent annotés par des humains, tels que « possède des ailes ». Les concepts des LCM sont généralement des vecteurs appris et peuvent ne pas correspondre clairement à des attributs nommés.
• LCMs et modèles de cohérence latente : Les deux utilisent l’abréviation LCM, mais les modèles de cohérence latente accélèrent les workflows de diffusion générative. Ils n’ont aucun lien avec les modèles de concepts à grande échelle.

Les LCM peuvent tout de même utiliser une architecture Transformer et des mécanismes d’attention ; le changement essentiel concerne ce que représentent les éléments de la séquence. La documentation de PyTorch sur Transformer décrit la structure générale de traitement des séquences, qui peut fonctionner avec différents types de représentations.

Applications concrètes#

Résumé multilingue : Un système d’assistance mondial pourrait encoder des rapports rédigés en espagnol, en japonais et en anglais dans un espace sémantique partagé, organiser leurs idées principales et générer un résumé en anglais. Des représentations multilingues partagées peuvent rapprocher des significations équivalentes, même lorsque leur formulation diffère en surface, comme l’illustre l’explication de Meta sur les espaces d’embeddings de phrases multilingues. Cela peut réduire la dépendance à la traduction de chaque étape intermédiaire du raisonnement.

Planification et génération de documents longs : Au lieu de rédiger un rapport mot par mot, un LCM peut d’abord modéliser une séquence telle que problème, éléments probants, analyse et recommandation. Chaque concept prédit est ensuite décodé en une ou plusieurs phrases. Cette approche ressemble à la planification d’un plan avant la rédaction et peut améliorer la cohérence dans le résumé de documents ou de conversations, des tâches décrites dans les recommandations de Microsoft sur le résumé de textes et de conversations.

Relier les modèles de concepts à la vision par ordinateur#

Un système fondé sur les concepts peut combiner un raisonnement de type LCM avec la détection d’objets. Un modèle de vision identifie les éléments pertinents d’une scène, puis un modèle en aval raisonne sur ces éléments dans le cadre d’une séquence plus vaste.

from ultralytics import YOLO

# Load a pretrained visual detector
model = YOLO("yolo26n.pt")

# Extract visual information from an image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into simple visual concepts
class_ids = result.boxes.cls.int().tolist()
visual_concepts = sorted({result.names[index] for index in class_ids})

print(visual_concepts)

Ce workflow YOLO26 produit des étiquettes telles que « bus » et « personne ». Il ne transforme pas YOLO en LCM ; il montre plutôt comment la vision par ordinateur peut fournir des éléments visuels structurés à un système de raisonnement au niveau des concepts. Les équipes peuvent utiliser Ultralytics Platform pour annoter des jeux de données visuels, entraîner des modèles, les déployer et surveiller ces composants de perception.

Avantages, limites et évaluation#

Les séquences au niveau des concepts peuvent être plus courtes que les séquences de tokens, favoriser le transfert de connaissances entre les langues et séparer la planification sémantique de la formulation en surface. Cependant, la compression d’une phrase en un seul vecteur peut supprimer des noms, des nombres, la négation, des détails spatiaux ou des nuances subtiles. Les erreurs du décodeur peuvent également produire un langage fluide qui ne correspond pas précisément au concept prédit.

L’évaluation pratique doit donc tester à la fois la qualité sémantique et l’exactitude de la sortie finale. Les équipes doivent mesurer la cohérence multilingue, la préservation des faits, la cohérence sur de longs contextes, la latence et le comportement face aux entrées ambiguës. Les déploiements à fort impact doivent également suivre un processus de gouvernance structuré, tel que le NIST AI Risk Management Framework, avec une revue humaine et une surveillance adaptées à l’application.