Large Concept Models (LCMs)

Os Modelos de Conceitos de Grande Escala (LCMs) são modelos de IA que processam e geram informação como unidades semânticas de nível superior, ou “conceitos”, em vez de prever um token de texto de cada vez. Num LCM típico, um conceito pode representar o significado de uma frase, elocução, evento ou ação como um vetor numérico. Esta perspetiva ao nível dos conceitos pode ajudar um modelo a organizar sequências longas, transferir significado entre idiomas e raciocinar sobre ideias sem associar cada passo interno a uma formulação específica.

Como funcionam os Modelos de Conceitos de Grande Escala#

Um modelo de linguagem de grande escala convencional divide o texto em tokens, como palavras, subpalavras ou sinais de pontuação. Em seguida, o modelo prevê repetidamente o token seguinte. O guia de tokenização do TensorFlow ilustra como o texto pode ser dividido nestas pequenas unidades.

Um LCM desloca o principal passo de modelação para um nível superior:

1. Um codificador converte uma frase ou outra unidade com significado num embedding—uma representação numérica densa do seu significado.
2. O modelo analisa uma sequência de embeddings de conceitos e prevê a representação do conceito seguinte.
3. Um descodificador converte a representação prevista em linguagem natural, fala ou outro formato de saída.

Neste design, as frases com significados semelhantes devem ocupar regiões próximas do espaço latente do modelo. A visão geral dos embeddings da Google explica como estes espaços vetoriais capturam relações, enquanto o seu guia sobre medição da semelhança entre embeddings aborda métodos como a similaridade do cosseno.

Uma frase é uma aproximação prática de um conceito, não uma definição universal. Uma frase pode conter várias ideias, enquanto um conceito importante pode abranger várias frases.

LCMs em comparação com modelos relacionados#

Os LCMs diferem principalmente na granularidade e na estrutura das suas previsões internas.

• LCMs vs. modelos de linguagem de grande escala: Os LLMs normalmente preveem tokens diretamente. Os LCMs preveem representações semânticas de nível superior e dependem de codificadores e descodificadores separados para ligar essas representações à linguagem.
• LCMs vs. modelos de visão e linguagem: Os VLMs ligam informação visual e linguística. Um LCM pode aceitar embeddings de conceitos visuais, mas a previsão ao nível dos conceitos não torna inerentemente um modelo multimodal.
• LCMs vs. modelos de gargalo de conceitos: Os modelos de gargalo de conceitos utilizam atributos explícitos, frequentemente anotados por humanos, como “tem asas”. Os conceitos dos LCMs são geralmente vetores aprendidos e podem não corresponder claramente a atributos nomeados.
• LCMs vs. modelos de consistência latente: Ambos utilizam a abreviatura LCM, mas os modelos de consistência latente aceleram os fluxos de trabalho de difusão generativa. Não têm relação com os modelos de conceitos de grande escala.

Os LCMs podem continuar a utilizar uma arquitetura Transformer e mecanismos de atenção; a principal alteração está naquilo que os elementos da sequência representam. A documentação do Transformer do PyTorch descreve a estrutura geral de processamento de sequências, que pode operar sobre diferentes tipos de representação.

Aplicações no mundo real#

Resumo multilingue: Um sistema global de suporte poderia codificar relatórios escritos em espanhol, japonês e inglês num espaço semântico partilhado, organizar as suas ideias principais e gerar um resumo em inglês. As representações multilingues partilhadas podem colocar significados equivalentes próximos uns dos outros, mesmo quando a sua formulação superficial é diferente, como demonstrado pela explicação da Meta sobre espaços multilingues de embeddings de frases. Isto pode reduzir a dependência da tradução de cada passo intermédio do raciocínio.

Planeamento e geração de textos longos: Em vez de redigir um relatório palavra a palavra, um LCM pode primeiro modelar uma sequência como problema, evidências, análise e recomendação. Cada conceito previsto é então descodificado numa ou mais frases. Isto assemelha-se ao planeamento de um esquema antes da escrita e pode melhorar a coerência no resumo de documentos ou conversas, tarefas descritas nas orientações da Microsoft para o resumo de texto e conversas.

Ligar modelos de conceitos à visão computacional#

Um sistema orientado por conceitos pode combinar o raciocínio ao estilo dos LCMs com a deteção de objetos. Um modelo de visão identifica elementos significativos da cena, e um modelo subsequente raciocina sobre esses elementos como parte de uma sequência mais ampla.

from ultralytics import YOLO

# Load a pretrained visual detector
model = YOLO("yolo26n.pt")

# Extract visual information from an image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into simple visual concepts
class_ids = result.boxes.cls.int().tolist()
visual_concepts = sorted({result.names[index] for index in class_ids})

print(visual_concepts)

Este fluxo de trabalho do YOLO26 produz etiquetas como “autocarro” e “pessoa”. Não transforma o YOLO num LCM; em vez disso, mostra como a visão computacional pode fornecer evidências visuais estruturadas a um sistema de raciocínio ao nível dos conceitos. As equipas podem utilizar a Ultralytics Platform para anotar conjuntos de dados visuais, treinar modelos, implementá-los e monitorizar estes componentes de perceção.

Benefícios, limitações e avaliação#

As sequências ao nível dos conceitos podem ser mais curtas do que as sequências de tokens, permitir a transferência de conhecimento entre idiomas e separar o planeamento semântico da formulação superficial. No entanto, comprimir uma frase num único vetor pode eliminar nomes, números, negações, detalhes espaciais ou qualificadores subtis. Os erros do descodificador também podem produzir uma linguagem fluente que não corresponde exatamente ao conceito previsto.

Por isso, a avaliação prática deve testar tanto a qualidade semântica como a precisão da saída final. As equipas devem medir a consistência multilingue, a preservação factual, a coerência em contextos longos, a latência e o comportamento perante entradas ambíguas. As implementações de alto impacto também devem seguir um processo de governação estruturado, como o NIST AI Risk Management Framework, com revisão humana e monitorização adequadas à aplicação.