Visual Reasoning

Визуальное мышление в искусственном интеллекте относится к способности модели анализировать, интерпретировать и делать логические выводы на основе визуальных и пространственных данных. В то время как стандартные системы компьютерного зрения (CV) отлично справляются с определением того, какие объекты присутствуют на сцене, визуальное мышление делает шаг вперед, чтобы понять, как и почему эти объекты взаимодействуют. Вдохновленная человеческой когнитивной способностью к визуальному мышлению и оцениваемая с помощью стандартных тестов когнитивной психологии, эта возможность позволяет моделям ИИ выполнять сложный анализ изображений, выводить пространственные отношения и решать многоэтапные задачи, основываясь исключительно на визуальном контексте. Это важнейший компонент для преодоления разрыва между «сырым» восприятием и практическими знаниями в системах мультимодального ИИ.

Link to this sectionОсновные концепции и парадигма «мышления образами»#

Исторически модели машинного обучения преобразовывали данные изображений в текст перед применением логических выводов. Однако недавние разработки 2024 и 2025 годов популяризировали парадигму, при которой модели по своей сути думают с помощью образов. Используя скрытое визуальное мышление, продвинутые видео-языковые модели (VLM) могут генерировать промежуточные визуальные представления — подобно тому, как человек может визуализировать ментальную карту, как это определено в параметрах пространственного тестирования NIH Toolbox — прежде чем прийти к выводу.

Этот подход часто использует механизм, известный как мультимодальная визуализация мышления (MVoT). Вместо того чтобы полагаться исключительно на текстовую цепочку рассуждений, системы могут исследовать пространственное визуальное мышление для проверки геометрических изменений, оценки окклюзий и отслеживания непрерывных перемещений в трехмерном пространстве.

Link to this sectionВизуальное мышление против связанных возможностей#

Полезно отличать визуальное мышление от других пересекающихся терминов ИИ:

• Модели рассуждений (Reasoning Models): Это более широкая категория, охватывающая модели, предназначенные для многоэтапного логического вывода, обычно в тексте, математике или программировании. Визуальное мышление применяет эти дедуктивные принципы конкретно к визуальным и пространственным данным.
• Визуальные ответы на вопросы (VQA): VQA — это конкретное приложение или задача, где ИИ дает ответ на естественном языке на запрос пользователя об изображении. Визуальное мышление — это базовая когнитивная способность, которая обеспечивает работу VQA, позволяя модели сделать правильный вывод на основе пространственного контекста.

Link to this sectionРеальные приложения#

Способность динамически интерпретировать пространственные контексты открывает путь к трансформационным агентским рабочим процессам как в физических, так и в цифровых доменах.

• ИИ в робототехнике и воплощенном интеллекте: Автономным агентам и роботам-манипуляторам требуется сложный пространственный интеллект для навигации в сложных средах. Используя визуальное мышление, робот может сделать вывод, что хрупкий объект лежит под тяжелой коробкой, и логически спланировать последовательность движений, чтобы извлечь его, не повредив, полагаясь при этом на оценку динамических физических ограничений.
• ИИ в медицинской диагностике: В медицинской визуализации специалисты используют системы визуального мышления, чтобы выйти за рамки базового обнаружения аномалий. Модели могут оценивать 3D МРТ-сканы, чтобы структурно рассуждать о траектории роста опухоли относительно окружающих органов, обеспечивая важный геометрический контекст для планирования операций.

Link to this sectionВнедрение восприятия в конвейеры рассуждений#

Для создания эффективных систем рассуждений разработчики полагаются на высокоскоростные модели восприятия, чтобы извлекать структурный контекст из физического мира. Ultralytics YOLO26 служит мощным базовым уровнем, быстро преобразующим пиксели в структурированные координаты bbox и классы объектов. Затем эти структурированные данные передаются в специализированные движки визуального мышления, созданные с использованием таких фреймворков, как PyTorch или TensorFlow, для оценки пространственной логики.

Если ты сравниваешь YOLO26 и YOLO11 для этой задачи, то нативная архитектура YOLO26 типа «end-to-end» минимизирует задержку вывода, что делает ее идеальной для логических конвейеров реального времени.

Следующий фрагмент кода на Python демонстрирует, как использовать YOLO26 для извлечения пространственных координат, предоставляя необходимые перцептивные входные данные, требуемые для последующего пространственного мышления:

from ultralytics import YOLO

# Load the Ultralytics YOLO26 model to act as the perception layer
model = YOLO("yolo26n.pt")

# Run inference to detect objects in a scene
results = model("https://ultralytics.com/images/bus.jpg")

# Extract structured spatial data for the visual reasoning engine
for result in results:
    for box in result.boxes:
        cls_name = model.names[int(box.cls)]
        # xyxy provides exact spatial coordinates (left, top, right, bottom)
        coords = box.xyxy[0].tolist()
        print(f"Object: {cls_name}, Spatial Coordinates: {coords}")

Масштабирование этих сложных мультимодальных приложений требует надежной инфраструктуры. Платформа Ultralytics предоставляет единую среду для бесшовной аннотации наборов данных для пространственного интеллекта, обучения моделей в облаке и развертывания надежных систем периферийного восприятия. По мере того как отрасль продвигается к более совершенным агентским фреймворкам для пространственных задач, поддерживаемым передовыми исследованиями в области зрения, сочетание высокоточного обнаружения объектов с логическим выводом представляет собой следующий рубеж в искусственном интеллекте.