Large Concept Models (LCMs)

Los modelos de conceptos grandes (LCMs) son modelos de IA que procesan y generan información como unidades semánticas de nivel superior, o «conceptos», en lugar de predecir un token de texto cada vez. En un LCM típico, un concepto puede representar el significado de una oración, un enunciado, un evento o una acción como un vector numérico. Esta perspectiva a nivel de concepto puede ayudar a un modelo a organizar secuencias largas, transferir significado entre idiomas y razonar sobre ideas sin vincular cada paso interno a una formulación concreta.

Cómo funcionan los modelos de conceptos grandes#

Un modelo de lenguaje grande convencional divide el texto en tokens, como palabras, subpalabras o signos de puntuación. A continuación, el modelo predice repetidamente el siguiente token. La guía de tokenización de TensorFlow muestra cómo se puede dividir el texto en estas pequeñas unidades.

Un LCM traslada el paso principal de modelado a un nivel superior:

1. Un codificador convierte una oración u otra unidad significativa en un embedding, una representación numérica densa de su significado.
2. El modelo examina una secuencia de embeddings de conceptos y predice la representación del concepto siguiente.
3. Un decodificador convierte la representación predicha en lenguaje natural, voz u otra forma de salida.

En este diseño, las oraciones con significados similares deberían ocupar regiones cercanas del espacio latente del modelo. La visión general de Google sobre los embeddings explica cómo estos espacios vectoriales capturan relaciones, mientras que su guía sobre cómo medir la similitud entre embeddings aborda métodos como la similitud coseno.

Una oración es una aproximación práctica a un concepto, no una definición universal. Una oración puede contener varias ideas, mientras que un concepto importante puede abarcar varias oraciones.

Comparación de los LCM con modelos relacionados#

Los LCM se diferencian principalmente en la granularidad y la estructura de sus predicciones internas.

• LCM frente a modelos de lenguaje grandes: Los LLM suelen predecir tokens directamente. Los LCM predicen representaciones semánticas de nivel superior y dependen de codificadores y decodificadores independientes para conectar esas representaciones con el lenguaje.
• LCM frente a modelos de visión y lenguaje: Los modelos de visión y lenguaje conectan la información visual y lingüística. Un LCM puede aceptar embeddings de conceptos visuales, pero la predicción a nivel de concepto no convierte inherentemente un modelo en multimodal.
• LCM frente a modelos con cuello de botella de conceptos: Los modelos con cuello de botella de conceptos utilizan atributos explícitos, a menudo etiquetados por personas, como «tiene alas». Los conceptos de los LCM suelen ser vectores aprendidos y puede que no se correspondan claramente con atributos con nombre.
• LCM frente a modelos de consistencia latente: Ambos utilizan la abreviatura LCM, pero los modelos de consistencia latente aceleran los flujos de trabajo de difusión generativa. No guardan relación con los modelos de conceptos grandes.

Los LCM también pueden utilizar una arquitectura Transformer y mecanismos de atención; el cambio clave es lo que representan los elementos de la secuencia. La documentación de Transformer de PyTorch describe la estructura general de procesamiento de secuencias, que puede operar con distintos tipos de representaciones.

Aplicaciones en el mundo real#

Resumen multilingüe: Un sistema global de asistencia podría codificar informes escritos en español, japonés e inglés en un espacio semántico compartido, organizar sus ideas principales y generar un resumen en inglés. Las representaciones multilingües compartidas pueden situar cerca los significados equivalentes incluso cuando su formulación superficial difiere, como demuestra la explicación de Meta sobre los espacios multilingües de embeddings de oraciones. Esto puede reducir la dependencia de traducir cada paso intermedio del razonamiento.

Planificación y generación de textos largos: En lugar de redactar un informe palabra por palabra, un LCM puede modelar primero una secuencia como problema, pruebas, análisis y recomendación. Después, cada concepto predicho se decodifica en una o varias oraciones. Esto se parece a planificar un esquema antes de escribir y puede mejorar la coherencia en tareas de resumen de documentos o conversaciones, descritas en la guía de Microsoft sobre el resumen de textos y conversaciones.

Conexión de los modelos de conceptos con la visión artificial#

Un sistema guiado por conceptos puede combinar el razonamiento al estilo de los LCM con la detección de objetos. Un modelo de visión identifica elementos significativos de la escena y un modelo posterior razona sobre esos elementos como parte de una secuencia más amplia.

from ultralytics import YOLO

# Load a pretrained visual detector
model = YOLO("yolo26n.pt")

# Extract visual information from an image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into simple visual concepts
class_ids = result.boxes.cls.int().tolist()
visual_concepts = sorted({result.names[index] for index in class_ids})

print(visual_concepts)

Este flujo de trabajo de YOLO26 produce etiquetas como «autobús» y «persona». No convierte YOLO en un LCM; más bien, muestra cómo la visión artificial puede proporcionar pruebas visuales estructuradas a un sistema de razonamiento a nivel de concepto. Los equipos pueden utilizar Ultralytics Platform para anotar conjuntos de datos visuales, entrenar modelos, implementarlos y supervisar estos componentes de percepción.

Ventajas, limitaciones y evaluación#

Las secuencias a nivel de concepto pueden ser más cortas que las secuencias de tokens, facilitar la transferencia de conocimientos entre idiomas y separar la planificación semántica de la formulación superficial. Sin embargo, comprimir una oración en un único vector puede descartar nombres, números, negaciones, detalles espaciales o matices sutiles. Los errores del decodificador también pueden producir un lenguaje fluido que no coincida con precisión con el concepto predicho.

Por tanto, la evaluación práctica debería comprobar tanto la calidad semántica como la precisión de la salida final. Los equipos deberían medir la coherencia multilingüe, la conservación de los hechos, la coherencia con contextos largos, la latencia y el comportamiento ante entradas ambiguas. Las implementaciones de alto impacto también deberían seguir un proceso de gobernanza estructurado, como el Marco de gestión de riesgos de IA del NIST, con revisión humana y supervisión adecuadas a la aplicación.