Grounding

Заземление — это процесс связывания слов или других символов с тем, на что они указывают, благодаря чему язык системы ИИ опирается на доказательства, которые система может показать. В компьютерном зрении визуальное заземление означает поиск области изображения или видео, описанной фразой: получив запрос «мужчина в бежевом пальто», заземлённая модель возвращает ограничивающую рамку или маску вокруг этого мужчины. В больших языковых моделях (LLMs) заземление означает привязку сгенерированного текста к найденным документам, результатам поиска или выходным данным инструментов, чтобы утверждения можно было проверить по источнику. Оба значения перекликаются с проблемой заземления символов, которую когнитивный учёный Стеван Харнад сформулировал в 1990 году: как символы, обрабатываемые системой, могут иметь для неё какое-либо значение, а не только для людей, которые их читают.

Задачи визуального заземления#

• Заземление фраз: Найти каждый объект, упомянутый в предложении, например и «женщину», и «её собаку» в подписи.
• Распознавание выражений, указывающих на объект: Найти единственный объект, который выделяет выражение, например «вторая машина слева». Для бенчмарков RefCOCO, RefCOCO+ и RefCOCOg собраны такие выражения для изображений COCO. В RefCOCO+ запрещены слова о местоположении, например «слева», поэтому описания должны указывать на внешний вид.
• Обнаружение с открытым словарём: Во время инференса найти все экземпляры категорий, указанных в тексте, не ограничиваясь фиксированным списком классов модели обнаружения объектов с закрытым набором классов.
• Создание заземлённых описаний и ответов: Мультимодальная модель зрения и языка (VLM) создаёт описание или ответ и добавляет рамку для каждого упомянутого объекта.
• Временное и 3D-заземление: Найти в видео момент, описанный предложением, или объект на 3D-скане комнаты.

Как работают модели заземления#

Модель заземления кодирует текст и изображение, оценивает каждую кандидатную область изображения относительно каждой фразы и сохраняет области, оценки которых превышают пороговое значение. При обучении выравниваются два пространства эмбеддингов, часто с помощью контрастивного обучения на парах изображение — текст, благодаря чему эмбеддинг фразы «синий рюкзак» оказывается близко к признакам синих рюкзаков. Более мощные модели также рано объединяют модальности с помощью перекрёстного внимания, позволяя словам направлять вычисление визуальных признаков сетью.

GLIP переосмыслила саму детекцию объектов как заземление фраз, благодаря чему одна модель могла обучаться и на данных детекции, и на данных заземления. Grounding DINO, которую Ultralytics Platform предоставляет для авторазметки, принимает названия категорий или описательные выражения и достигла 52,5 AP на COCO, не используя обучающие данные COCO. SAM 3 от Meta, выпущенная в ноябре 2025 года и доступная на Platform как SAM 3 Text, сегментирует и отслеживает каждый экземпляр короткого именного словосочетания, например «жёлтый школьный автобус», на изображениях и видео. Генеративные VLM выполняют заземление, записывая координаты рамок текстом или специальными маркерами токенами наряду с ответами. Таблица лидеров VLM сравнивает, насколько точно детекторы с открытым словарём и генеративные VLM определяют названия классов из реальных наборов данных для детекции.

YOLOE, созданная исследователями Университета Цинхуа и доступная в пакете Ultralytics как YOLOE-26 на архитектуре YOLO26, выполняет заземление названий категорий и коротких фраз в реальном времени: кодировщик текста преобразует каждую фразу в эмбеддинг, а голова обнаружения сопоставляет его со всеми областями изображения:

from ultralytics import YOLOE

# Загрузи модель YOLOE-26 для детекции и сегментации с открытым словарём
model = YOLOE("yoloe-26s-seg.pt")

# Текстовый кодировщик один раз создаёт эмбеддинг каждой фразы, превращая её в класс, который модель может найти
model.set_classes(["bus", "person", "sunglasses", "traffic sign"])
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Вывести для каждой заземлённой фразы её рамку в пикселях (x1, y1, x2, y2)
for cls, box in zip(result.boxes.cls.tolist(), result.boxes.xyxy.tolist()):
    print(result.names[int(cls)], [round(v) for v in box])

Каждая выведенная строка связывает одну из фраз с областью, к которой её привязала YOLOE. Если фразе не соответствует ни один объект на изображении, она не выводится.

Применение#

• Робототехника: Прежде чем планировать захват, робот, получивший команду «подними красную кружку рядом с ноутбуком», должен связать эту фразу с конкретным объектом и его положением в 3D-пространстве.
• Разметка данных: детекторы с открытым словарем создают предварительные боксы и маски для новых классов по списку названий. Разметчики исправляют их, а не рисуют с нуля. Ultralytics Platform таким образом автоматически размечает наборы данных для обнаружения объектов, прежде чем на исправленных метках обучается модель YOLO26.
• Поиск по видео: Временное заземление находит среди многочасовых записей фрагмент, где «велосипедист поворачивает налево на перекрёстке».
• Доступность: Вспомогательные приложения отвечают на вопрос «где находится знак выхода?», находя сам объект, а не просто называя его.

Заземление и смежные термины#

• Подпись к изображению: Преобразует изображение в текст. При визуальном заземлении процесс идет в обратном направлении: от текста к описываемым им областям изображения.
• Визуальные ответы на вопросы (VQA): Дает словесный ответ на вопрос об изображении. Заземленная VQA также указывает на подтверждающие ответ данные.
• Обучение без примеров: Распознает классы, для которых нет обучающих примеров. Заземление с открытым словарем — один из способов этого добиться: классу, описанному словами, не нужны размеченные изображения.
• Мультимодальный ИИ: Более широкая область моделей, объединяющих разные типы данных; заземление — это сопоставление конкретных слов с конкретными частями другой модальности.

Заземление в языковых моделях#

LLM, которая отвечает, опираясь только на память, может выдавать беглые утверждения без источника — это одна из причин галлюцинаций. Генерация с опорой на источники предоставляет подтверждающие данные во время инференса с помощью генерации с дополнением извлеченной информацией (RAG), веб-поиска, запросов к базам данных или вызовов инструментов и просит модель отвечать на основании этих данных и приводить ссылки на них. Каждый тезис в ответе с опорой на источники можно проверить по ним, а при оценке таких систем верность — то, подтверждается ли каждое утверждение извлеченным текстом, — измеряют отдельно от правильности самого извлеченного текста.