Spatial Intelligence

Пространственный интеллект в ИИ — это способность системы воспринимать трехмерную структуру мира, рассуждать о том, где находятся объекты и как они связаны друг с другом, а затем использовать это понимание для действий, ответов на вопросы или создания новых сцен. Модель с пространственным интеллектом понимает, что чашка стоит на столе и находится в пределах досягаемости, коридор продолжается за поворотом и как сцена будет выглядеть с другой точки обзора. Термин происходит из психологии, где пространственный интеллект — одна из способностей, описанных в теории множественного интеллекта Говарда Гарднера (1983). В ИИ термин популяризировала Фэй-Фэй Ли: в эссе «От слов к мирам» 2025 года она назвала пространственный интеллект следующим рубежом после языка. Он лежит в основе робототехники, дополненной реальности и автономного вождения.

Основы пространственного интеллекта#

Пространственное понимание объединяет несколько возможностей:

• Глубина и 3D-геометрия: Оценка глубины, стереозрение и обнаружение объектов в 3D позволяют определить расстояния до объектов и их размеры по изображениям. Модели реконструкции с прямым проходом, например VGGT от Meta и Оксфордского университета, получившая награду за лучшую работу на CVPR 2025, за секунды предсказывают позы камеры, карты глубины и 3D-карты точек по одному или сотням изображений.
• Локализация и картографирование: Визуальная SLAM отслеживает перемещение камеры и одновременно строит карту окружающего пространства.
• Ориентация и артикуляция: оценка позы определяет позы людей и объектов, а ориентированные ограничивающие рамки фиксируют поворот объектов, снятых сверху, например на аэрофотоснимках.
• 3D-представления: Облака точек, сетки, нейронные поля излучения и гауссово сплаттинг-представление хранят реконструированную сцену для визуализации, симуляции и планирования.
• Пространственное мышление: Отношения вроде «над», «за» и «ближе, чем», а также расстояния, размеры и маршруты, выраженные словами или непосредственно используемые для принятия решений.

Разные задачи по-разному используют одну и ту же модель сцены:

От 2D-детекций к 3D-позициям#

Детектор сообщает, где на изображении находятся объекты; добавление данных о глубине позволяет системе понять, насколько далеко они расположены. Ultralytics YOLO26 включает задачу монокулярной оценки глубины, модели которой предсказывают карту глубины, в которой расстояние для каждого пикселя указано в метрах, поэтому сочетание детектора YOLO26 с моделью глубины YOLO26 позволяет определить расстояние от камеры до каждого обнаруженного объекта:

from ultralytics import YOLO

detector = YOLO("yolo26n.pt")
depth_model = YOLO("yolo26n-depth.pt")
image = "https://ultralytics.com/images/bus.jpg"

boxes = detector(image)[0].boxes
depth = depth_model(image)[0].depth.data  # per-pixel depth in meters, shape (H, W)

# Read the depth at each box center to place the objects in 3D
for cls, (x, y, w, h) in zip(boxes.cls.tolist(), boxes.xywh.tolist()):
    print(f"{detector.names[int(cls)]}: {depth[int(y), int(x)]:.1f} m")

Зная внутренние параметры камеры, можно преобразовать центр каждой рамки и глубину в координаты x, y, z в метрах — именно такое 3D-расположение нужно планировщику захвата или системе ответов на пространственные вопросы.

Пространственный интеллект и смежные понятия#

• Компьютерное зрение: Более широкая область, посвящённая извлечению информации из изображений. Многие её задачи работают в 2D-плоскости изображения, классифицируя изображения и выделяя объекты рамками; пространственный интеллект развивает эти возможности, добавляя метрическую 3D-структуру и отношения.
• Пространственные вычисления: Парадигма взаимодействия человека с компьютером, при которой цифровой контент размещается в физическом пространстве и реагирует на него, например в гарнитурах смешанной реальности. Это прикладная область, опирающаяся на пространственный интеллект.
• Воплощённый ИИ: Агенты, которые воспринимают мир и действуют через физическое или симулированное тело. Пространственный интеллект — одна из возможностей, необходимых таким агентам.
• Модели мира: Модели, предсказывающие, как будет меняться окружающая среда. Модели мира, опирающиеся на пространственные данные, генерируют или симулируют согласованные 3D-сцены.

Пространственное мышление в мультимодальных моделях#

Визуально-языковые модели бегло описывают изображения, но отстают в пространственных рассуждениях. Бенчмарк VSI-Bench, содержащий более 5 000 вопросов о видео с интерьерными сценами, показал в 2024 году, что мультимодальные LLM демонстрируют конкурентоспособный, но уступающий человеку уровень визуально-пространственного интеллекта, а главным узким местом становятся пространственные рассуждения. Если попросить модели перед ответом составить явную когнитивную карту комнаты, они точнее оценивают расстояния. Таблица лидеров VLM Ultralytics измеряет более узкий пространственный навык — точность размещения боксов вокруг объектов на реальных изображениях. Генеративные модели решают эту проблему с другой стороны. World Labs, компанию, соучредителем которой стала Фэй-Фэй Ли, в ноябре 2025 года выпустила Marble — модель мира, которая превращает текст, изображения или видео в постоянные трехмерные среды, доступные для навигации и экспорта в виде гауссовых сплатов или сеток.