Large Concept Models (LCMs)

Les grands modèles de concepts (LCM) sont des modèles d'IA qui traitent et génèrent des informations sous forme d'unités sémantiques de plus haut niveau, ou « concepts », plutôt que de prédire un jeton de texte à la fois. Dans un LCM typique, un concept peut représenter la signification d'une phrase, d'un énoncé, d'un événement ou d'une action sous forme de vecteur numérique. Cette vue au niveau du concept peut aider un modèle à organiser de longues séquences, à transférer du sens entre les langues et à raisonner sur des idées sans lier chaque étape interne à une formulation spécifique.

Comment fonctionnent les grands modèles de concepts#

Un grand modèle de langage conventionnel fragmente le texte en jetons, tels que des mots, des sous-mots ou de la ponctuation. Le modèle prédit ensuite le jeton suivant de manière répétée. Le guide de tokenisation TensorFlow illustre la manière dont le texte peut être divisé en ces petites unités.

Un LCM déplace l'étape de modélisation principale vers un niveau supérieur :

1. Un encodeur convertit une phrase ou une autre unité porteuse de sens en un embedding, c'est-à-dire une représentation numérique dense de sa signification.
2. Le modèle examine une séquence d'embeddings de concepts et prédit la représentation du concept suivant.
3. Un décodeur convertit la représentation prédite en langage naturel, en parole ou en une autre forme de sortie.

Dans cette conception, les phrases ayant des significations similaires doivent occuper des régions proches de l'espace latent du modèle. L'aperçu des embeddings Google explique comment ces espaces vectoriels capturent les relations, tandis que son guide sur la mesure de la similarité entre les embeddings aborde des méthodes telles que la similarité cosinus.

Une phrase est un substitut pratique pour un concept, et non une définition universelle. Une seule phrase peut contenir plusieurs idées, tandis qu'un concept important peut s'étendre sur plusieurs phrases.

Comparaison des LCM avec les modèles associés#

Les LCM se distinguent principalement par la granularité et la structure de leurs prédictions internes.

• LCM vs. grands modèles de langage : Les LLM prédisent généralement les jetons directement. Les LCM prédisent des représentations sémantiques de plus haut niveau et s'appuient sur des encodeurs et des décodeurs séparés pour relier ces représentations au langage.
• LCM vs. modèles vision-langage : Les VLM connectent des informations visuelles et linguistiques. Un LCM peut accepter des embeddings de concepts visuels, mais la prédiction au niveau du concept ne rend pas intrinsèquement un modèle multimodal.
• LCM vs. modèles à goulot d'étranglement conceptuel : Les modèles à goulot d'étranglement conceptuel utilisent des attributs explicites, souvent étiquetés par l'homme, tels que « a des ailes ». Les concepts des LCM sont généralement des vecteurs appris et peuvent ne pas correspondre clairement à des attributs nommés.
• LCM vs. modèles de cohérence latente : Tous deux utilisent l'abréviation LCM, mais les modèles de cohérence latente accélèrent les flux de travail de diffusion générative. Ils n'ont aucun lien avec les grands modèles de concepts.

Les LCM peuvent toujours utiliser une architecture Transformer et des mécanismes d'attention ; le changement clé réside dans ce que représentent les éléments de la séquence. La documentation PyTorch Transformer décrit la structure générale de traitement des séquences qui peut s'appliquer à différents types de représentations.

Applications concrètes#

Résumé multilingue : Un système de support mondial pourrait encoder des rapports rédigés en espagnol, en japonais et en anglais dans un espace sémantique partagé, organiser leurs idées principales et générer un résumé en anglais. Les représentations multilingues partagées peuvent rapprocher des significations équivalentes même lorsque leur formulation superficielle diffère, comme le démontre l'explication de Meta sur les espaces d'embeddings de phrases multilingues. Cela peut réduire la dépendance à la traduction de chaque étape de raisonnement intermédiaire.

Planification et génération de documents longs : Au lieu de rédiger un rapport mot à mot, un LCM peut d'abord modéliser une séquence telle que problème, preuve, analyse et recommandation. Chaque concept prédit est ensuite décodé en une ou plusieurs phrases. Cela ressemble à la planification d'un plan avant l'écriture et peut améliorer la cohérence dans le résumé de documents ou de conversations, des tâches décrites dans les directives de résumé de texte et de conversation de Microsoft.

Connexion des modèles de concepts à la vision par ordinateur#

Un système axé sur les concepts peut combiner un raisonnement de type LCM avec la détection d'objets. Un modèle de vision identifie les éléments significatifs d'une scène, et un modèle en aval raisonne sur ces éléments dans le cadre d'une séquence plus large.

from ultralytics import YOLO

# Load a pretrained visual detector
model = YOLO("yolo26n.pt")

# Extract visual information from an image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into simple visual concepts
class_ids = result.boxes.cls.int().tolist()
visual_concepts = sorted({result.names[index] for index in class_ids})

print(visual_concepts)

Ce flux de travail YOLO26 produit des étiquettes telles que « bus » et « person ». Il ne transforme pas YOLO en un LCM ; il montre plutôt comment la vision par ordinateur peut fournir des preuves visuelles structurées à un système de raisonnement au niveau des concepts. Les équipes peuvent utiliser Ultralytics Platform pour annoter des jeux de données visuels, entraîner des modèles, les déployer et surveiller ces composants de perception.

Avantages, limites et évaluation#

Les séquences au niveau des concepts peuvent être plus courtes que les séquences de jetons, prendre en charge le transfert de connaissances interlinguistiques et dissocier la planification sémantique de la formulation superficielle. Cependant, la compression d'une phrase en un seul vecteur peut éliminer des noms, des chiffres, la négation, des détails spatiaux ou des qualificatifs subtils. Les erreurs du décodeur peuvent également produire un langage fluide qui ne correspond pas précisément au concept prédit.

L'évaluation pratique doit donc tester à la fois la qualité sémantique et la précision de la sortie finale. Les équipes doivent mesurer la cohérence multilingue, la préservation factuelle, la cohérence sur de longs contextes, la latence et le comportement face à des entrées ambigües. Les déploiements à fort impact doivent également suivre un processus de gouvernance structuré tel que le NIST AI Risk Management Framework, avec une révision humaine et un suivi adaptés à l'application.