Grounding

La fundamentación consiste en conectar palabras u otros símbolos con las cosas a las que se refieren, de modo que el lenguaje de un sistema de IA esté vinculado a pruebas que pueda señalar. En la visión artificial, la fundamentación visual consiste en localizar la región de una imagen o un vídeo que describe una frase: ante «el hombre con el abrigo beis», un modelo con fundamentación devuelve una caja delimitadora o una máscara alrededor de ese hombre. En los modelos de lenguaje grandes (LLM), la fundamentación consiste en vincular el texto generado con documentos recuperados, resultados de búsqueda o salidas de herramientas, para poder rastrear las afirmaciones hasta una fuente. Ambos sentidos remiten al problema de la fundamentación de los símbolos que el científico cognitivo Stevan Harnad planteó en 1990: cómo pueden los símbolos que manipula un sistema tener significado para ese sistema, y no solo para las personas que los leen.

Tareas de fundamentación visual#

• Fundamentación de frases: localiza todos los objetos mencionados en una oración, como «una mujer» y «su perro» en un pie de foto.
• Comprensión de expresiones referenciales: encuentra el único objeto que señala una expresión, como «el segundo coche empezando por la izquierda». Los benchmarks RefCOCO, RefCOCO+ y RefCOCOg recopilan este tipo de expresiones para imágenes de COCO, y RefCOCO+ prohíbe palabras de ubicación como «izquierda», de modo que las expresiones deban describir el aspecto.
• Detección de vocabulario abierto: encuentra todas las instancias de las categorías nombradas en texto durante la inferencia, más allá de la lista fija de clases de un modelo de detección de objetos de conjunto cerrado.
• Generación de descripciones y respuestas fundamentadas: un modelo de visión y lenguaje (VLM) redacta una descripción o respuesta y adjunta una caja a cada objeto que menciona.
• Fundamentación temporal y 3D: encuentra el momento de un vídeo que describe una oración o el objeto en un escaneo 3D de una habitación.

Cómo funcionan los modelos de fundamentación#

Un modelo de fundamentación codifica el texto y la imagen, puntúa cada región candidata de la imagen frente a cada frase y conserva las regiones cuyas puntuaciones superan un umbral. El entrenamiento alinea ambos espacios de embeddings, a menudo mediante aprendizaje contrastivo con pares de imagen y texto, para que el embedding de «mochila azul» quede cerca de las características de las mochilas azules. Los modelos más avanzados también fusionan pronto las modalidades mediante atención cruzada, lo que permite que las palabras guíen las características visuales que calcula la red.

GLIP reformuló la detección de objetos como localización de frases, de modo que los datos de detección y localización pudieran entrenar un mismo modelo. Grounding DINO, que Ultralytics Platform aloja para la anotación automática, acepta nombres de categorías o expresiones referenciales y alcanzó 52.5 AP en COCO sin utilizar datos de entrenamiento de COCO. SAM 3 de Meta, publicado en noviembre de 2025 y alojado en Platform como SAM 3 Text, segmenta y sigue cada instancia de una frase nominal corta, como «autobús escolar amarillo», en imágenes y vídeos. Los VLM generativos localizan objetos escribiendo las coordenadas de las cajas como texto o como tokens de ubicación especiales junto a sus respuestas. La tabla de clasificación de VLM compara la precisión con la que los detectores de vocabulario abierto y los VLM generativos localizan los nombres de clase de conjuntos de datos de detección del mundo real.

YOLOE, presentado por investigadores de la Universidad de Tsinghua y disponible en el paquete Ultralytics como YOLOE-26 sobre la arquitectura YOLO26, fundamenta nombres de categorías y frases cortas en tiempo real: un codificador de texto convierte cada frase en un embedding, y la cabeza de detección lo compara con cada región de la imagen:

from ultralytics import YOLOE

# Carga un modelo YOLOE-26 de detección y segmentación con vocabulario abierto
model = YOLOE("yoloe-26s-seg.pt")

# El codificador de texto convierte cada frase en un embedding una sola vez, y esta pasa a ser una clase que el modelo puede encontrar
model.set_classes(["bus", "person", "sunglasses", "traffic sign"])
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Imprime cada frase fundamentada con su caja en píxeles (x1, y1, x2, y2)
for cls, box in zip(result.boxes.cls.tolist(), result.boxes.xyxy.tolist()):
    print(result.names[int(cls)], [round(v) for v in box])

Cada línea impresa relaciona una de las frases con la región en la que YOLOE la ha fundamentado; si una frase no encuentra coincidencias en la imagen, no se imprime nada.

Aplicaciones#

• Robótica: Un robot al que se le indica «coge la taza roja que está junto al portátil» debe fundamentar esa frase en un objeto y su posición 3D antes de planificar cómo agarrarlo.
• Anotación de datos: Los detectores de vocabulario abierto generan borradores de cuadros y máscaras para clases nuevas a partir de una lista de nombres, que después los anotadores corrigen en vez de dibujarlos desde cero. Ultralytics Platform anota automáticamente conjuntos de datos de detección de este modo antes de entrenar un modelo YOLO26 con las etiquetas corregidas.
• Búsqueda en vídeo: La fundamentación temporal recupera el clip en el que «un ciclista gira a la izquierda en el cruce» entre horas de grabaciones.
• Accesibilidad: las aplicaciones de asistencia responden a «¿dónde está la señal de salida?» localizando el objeto, no limitándose a nombrarlo.

Fundamentación frente a términos relacionados#

• Descripción de imágenes: Convierte una imagen en texto. La fundamentación funciona en el sentido contrario: del texto a las regiones de la imagen que describe.
• Respuesta visual a preguntas (VQA): Responde con palabras a una pregunta sobre una imagen. La VQA fundamentada también señala las pruebas que respaldan la respuesta.
• Aprendizaje de cero ejemplos: Reconoce clases sin ejemplos de entrenamiento. La fundamentación con vocabulario abierto es una forma de conseguirlo, ya que una clase descrita con palabras no necesita imágenes etiquetadas.
• IA multimodal: Campo más amplio de los modelos que combinan tipos de datos; la fundamentación alinea palabras concretas con partes concretas de la otra modalidad.

Fundamentación en modelos de lenguaje#

Un LLM que responde solo de memoria puede generar afirmaciones fluidas sin fuentes, una de las causas de las alucinaciones. La generación fundamentada aporta pruebas en el momento de la inferencia mediante la generación aumentada por recuperación (RAG), búsquedas web, consultas a bases de datos o llamadas a herramientas, y pide al modelo que responda basándose en esas pruebas y las cite. Una respuesta fundamentada puede comprobarse afirmación por afirmación con sus fuentes, y las evaluaciones de los sistemas fundamentados miden la fidelidad —si cada afirmación está respaldada por el texto recuperado— por separado de si el texto recuperado era correcto.