Visual Reasoning

Визуальное рассуждение — способность модели ИИ делать выводы, для которых требуется несколько шагов анализа визуальной информации: подсчитывать объекты, удовлетворяющие условию, сравнивать их размеры или положение, отслеживать пространственные отношения, применять базовые знания о физическом мире или продолжать абстрактный визуальный узор. Распознавание кружки требует одного шага восприятия, а для ответа на вопрос «Находится ли кружка левее самого большого предмета из того же материала, что и стол?» нужно несколько шагов, поскольку ответ объединяет сведения о четырёх объектах. Эта способность находится на стыке компьютерного зрения, которое предоставляет такие сведения, и моделей рассуждения, которые выстраивают цепочки выводов в тексте. Именно её проверяют тесты ответов на вопросы по изображению (VQA), когда вопросы требуют большего, чем просто назвать изображённые предметы.

Тесты для оценки визуального рассуждения#

Тесты на визуальное рассуждение появились задолго до ИИ. Прогрессивные матрицы Джона К. Равена (1938) предлагают людям выбрать элемент, который завершает узор 3×3, а задачи Михаила Бонгарда 1967 года спрашивают, какое правило отличает шесть изображений от других шести. В тестах для машин использовали обе идеи и добавили язык:

• CLEVR: Джастин Джонсон и его коллеги из Стэнфорда и Facebook AI Research представили этот диагностический датасет на CVPR 2017. Он включает 100 000 синтезированных сцен с простыми трёхмерными фигурами и около миллиона сгенерированных вопросов на подсчёт, сравнение, пространственные отношения и логику. При этом в датасете минимизированы смещения, позволяющие моделям угадывать ответы.
• RAVEN: Датасет 2019 года с процедурно сгенерированными матрицами в стиле Равена для обучения и тестирования машин на дополнение узоров.
• ARC: Корпус абстракции и рассуждений Франсуа Шолле 2019 года — головоломки с сетками, в которых по нескольким примерам нужно определить правило преобразования.
• MathVista: Тест 2023 года с математическими задачами на основе диаграмм, графиков, геометрических схем и фотографий.
• BLINK: Набор из 14 классических задач компьютерного зрения, опубликованный в 2024 году. В него входят задачи на относительную глубину и визуальное соответствие, преобразованные в вопросы с вариантами ответов.

BLINK показал, насколько беглые мультимодальные модели всё ещё отстают от человеческого восприятия: средний результат людей составил 95,70%, GPT-4V набрала 51,26%, а Gemini — 45,72%. Это всего на 13,17 и 7,63 процентного пункта выше случайного угадывания; специализированные модели компьютерного зрения справились с теми же задачами значительно лучше.

Подходы к визуальному рассуждению#

Сквозные визуально-языковые модели (VLM) отвечают напрямую на основе токенов изображения, а промптинг с цепочкой рассуждений побуждает их записывать промежуточные шаги перед ответом. Выпущенные в апреле 2025 года модели o3 и o4-mini от OpenAI расширили этот подход, добавив работу с изображениями во время рассуждений: модель может обрезать, увеличивать и поворачивать изображение, а затем повторно изучать результат.

Нейросимвольные методы разделяют распознавание и рассуждение. Сети нейронных модулей (CVPR 2016) Джейкоба Андреаса и его коллег собирали для каждого вопроса небольшую сеть из повторно используемых модулей, таких как «сосредоточиться» и «сосредоточиться ещё раз». NS-VQA (NeurIPS 2018) Кексина И и его коллег разбирала каждую сцену CLEVR в таблицу объектов с их атрибутами и положением, преобразовывала вопрос в программу и выполняла её над таблицей. Система достигла точности 99,8% и давала полностью отслеживаемый ответ; этот подход основан на символическом ИИ. Визуальное программирование перенесло ту же идею на реальные фотографии: VisProg, получившая награду за лучшую статью CVPR 2023, и ViperGPT (ICCV 2023) используют большую языковую модель (LLM), чтобы написать программу на Python, вызывающую модель обнаружения объектов, модель оценки глубины и другие инструменты компьютерного зрения, а затем выполнить её.

Обнаружение и глубина как входные данные для рассуждения#

Относительная глубина — одна из задач BLINK и именно тот вопрос, который визуальная программа может поручить специализированной модели. YOLO26 предоставляет оба входных результата: модель обнаружения объектов преобразует фотографию в размеченные рамки, а модель монокулярной оценки глубины возвращает карту глубины для каждого пикселя в метрах. Поэтому несколько строк логики позволяют ответить на вопрос «Есть ли кто-нибудь ближе к камере, чем автобус?»:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
detections = YOLO("yolo26n.pt")(image)[0]
depth = YOLO("yolo26n-depth.pt")(image)[0].depth.data  # (H, W) depth map in meters

# Perception to symbols: one (name, median depth) fact per detected object
boxes = detections.boxes.xyxy.int().tolist()
classes = detections.boxes.cls.int().tolist()
facts = []
for (x1, y1, x2, y2), cls in zip(boxes, classes):
    facts.append((detections.names[cls], depth[y1:y2, x1:x2].median().item()))

# Reasoning over symbols: compare every person's depth with the bus
bus_depth = min(d for name, d in facts if name == "bus")
closer = [round(d, 1) for name, d in facts if name == "person" and d < bus_depth]
print(f"Bus at {bus_depth:.1f} m; people closer to the camera: {closer}")

Каждый ответ можно связать с конкретной рамкой и значением глубины, чего нельзя сделать с ответом сквозной модели. Та же схема подходит для задач робототехники и пространственного интеллекта, в которых робот должен решить, к какому объекту сначала потянуться, а также для агентных рабочих процессов, которые проверяют сцену перед действием.

Визуальное рассуждение и смежные понятия#

VQA — это формат задачи: вопрос об изображении с коротким ответом. Визуальное рассуждение — многошаговая способность, необходимая для более сложных вопросов VQA. Мультимодальный ИИ охватывает любые модели, которые объединяют разные типы данных, независимо от того, выполняют ли они рассуждения. Пространственное рассуждение — это область, связанная с положением, расстоянием и ориентацией; для простейших таких вопросов языковая модель вообще не нужна: в задачах BLINK на относительную глубину спрашивается, какая из двух отмеченных точек ближе к камере, и на этот вопрос карта глубины отвечает сравнением двух значений пикселей.