Spatial Computing

Изучи пространственные вычисления и то, как они смешивают физический и цифровой миры. Узнай, как ИИ зрения и Ultralytics YOLO26 обеспечивают 3D-взаимодействие в реальном времени.

Пространственные вычисления — это развивающаяся технологическая парадигма, которая органично объединяет цифровой и физический миры и позволяет людям и машинам взаимодействовать с цифровой информацией, привязанной к трехмерному физическому пространству. Этот термин, введенный Саймоном Гринвольдом в 2003 году, быстро развился благодаря современным прорывам в области машинного обучения (ML). Объединяя реальности с помощью дополненной (AR) и виртуальной (VR) реальности (наиболее заметно на передовых аппаратных устройствах, таких как Apple Vision Pro), пространственные вычисления выходят за рамки традиционных 2D-экранов, создавая по-настоящему иммерсивные среды. Они опираются на слияние аппаратного обеспечения, такого как LiDAR-сенсоры, и фреймворков глубокого обучения, таких как PyTorch, для точного картирования, интерпретации и манипулирования физическими пространствами в реальном времени.

Ключевые компоненты пространственных вычислений#

Для создания отзывчивого опыта пространственных вычислений требуется ряд взаимосвязанных технологий, позволяющих бесшовно воспринимать и оцифровывать реальный мир:

Слияние датчиков: Устройства используют комбинацию оптических камер, инструментов оценки глубины и датчиков освещенности для сбора непрерывных данных о 3D-пространстве вокруг их физического окружения.
Компьютерное зрение на основе ИИ: В основе пространственных вычислений лежит способность интерпретировать визуальные данные. Модели, такие как Ultralytics YOLO26, обеспечивают обнаружение объектов и отслеживание в реальном времени, позволяя пространственным системам мгновенно понимать, какие физические объекты находятся в комнате.
Периферийные вычисления: Чтобы предотвратить задержки и обеспечить плавное взаимодействие, аппаратное обеспечение обрабатывает сложные данные локально на устройствах, а не полагается полностью на удаленные облачные сети.
Захват и рендеринг мира: Методы генеративного ИИ используются для быстрого восстановления 3D-сред по 2D-изображениям. Сюда входят нейрополя излучения (NeRF), впервые представленные в статье на arXiv за 2020 год, и гауссовское сплайтерование (Gaussian splatting).

Пространственные вычисления против компьютерного зрения#

Хотя их часто обсуждают вместе, важно отличать пространственные вычисления от компьютерного зрения. Компьютерное зрение — это подраздел ИИ, строго нацеленный на то, чтобы позволить машинам «видеть» и интерпретировать визуальные данные из реального мира. Пространственные вычисления, с другой стороны, представляют собой более широкую вычислительную экосистему, которая использует компьютерное зрение в качестве фундаментального инструмента. Например, компьютерное зрение может распознать стул в комнате, но пространственные вычисления используют эти данные, чтобы пользователь мог виртуально разместить цифровой светильник на стуле с помощью иммерсивного интерфейса.

Реальные применения ИИ и ML#

Пространственные вычисления преобразуют различные отрасли, преодолевая разрыв между цифровой обработкой и физическим исполнением. Два мощных примера применения в реальном мире включают:

Автономная робототехника и производство: На умных промышленных предприятиях пространственные вычисления позволяют роботам изучать сложные механические задачи с помощью обучения с подражанием. Операторы используют AR-гарнитуры, чтобы естественным образом демонстрировать процедуры сборки. Пространственный компьютер отслеживает движения человека в 3D-пространстве, преобразует их в обучающие данные и позволяет роботу безопасно повторять эти действия.
Автономные транспортные средства и умные города: Современные транспортные системы сильно зависят от пространственных вычислений для безопасной навигации. Непрерывно объединяя алгоритмы многообъектного отслеживания (MOT) с пространственными картами, созданными с помощью IoT-датчиков, самоуправляемый автомобиль поддерживает динамическое трехмерное понимание своего окружения.

Интеграция Vision AI в пространственные рабочие процессы#

Создание конвейера пространственных вычислений обычно начинается с идентификации и локализации объектов в физическом пространстве. Например, использование модели оценки позы помогает определить точное положение тела человека, которое затем можно использовать для привязки виртуального артефакта к его руке или телу в среде смешанной реальности.

Вот пример того, как извлекать ключевые точки с помощью Python, что является важным первым шагом для интерактивного пространственного картирования:

from ultralytics import YOLO

# Load the Ultralytics YOLO26 pose model to anchor spatial elements
model = YOLO("yolo26n-pose.pt")

# Predict and extract 2D/3D keypoints for spatial mapping
results = model.predict(source="environment.jpg")
for r in results:
    print(r.keypoints.xy)  # Output coordinates of the detected poses

Для крупномасштабных пространственных приложений разработчики часто безопасно управляют своими обученными моделями и развертывают их с помощью Ultralytics Platform, что упрощает создание ИИ-движков, лежащих в основе современных сетей пространственного интеллекта. Интеграция этих эффективных моделей компьютерного зрения на периферийных ИИ-архитектурах позволяет разработчикам создавать отзывчивые и интуитивно понятные интерфейсы, необходимые для будущего взаимодействия человека с компьютером.