Компьютерное зрение в играх: новый уровень игрового опыта

Игры прошли долгий путь — от простых пиксельных приключений до масштабных захватывающих миров, которые игроки исследуют сегодня. На самом деле идея о том, что машина может думать или даже играть в игру, впервые всерьёз рассматривалась ещё в 1940-х годах.

В то время на Всемирной выставке была представлена машина, созданная физиком Эдвардом У. Кондоном. Она умела играть в ним — математическую стратегическую игру, в которой два игрока по очереди убирают предметы из разных куч, а цель состоит в том, чтобы не взять последний предмет. Машина сыграла с посетителями тысячи партий и выиграла подавляющее большинство из них, пробудив ранний интерес к возможности участия интеллектуальных машин в играх.

Сегодня это раннее видение воплощается в жизнь по-новому. Одно из самых интересных направлений в игровой индустрии — использование компьютерного зрения, области искусственного интеллекта (AI). По мере того как игры становятся более динамичными и отзывчивыми, компьютерное зрение позволяет машинам интерпретировать и понимать визуальную информацию, создавая более захватывающий, интерактивный и персонализированный опыт.

В частности, модели компьютерного зрения, такие как Ultralytics YOLO11, известная поддержкой таких задач, как обнаружение и отслеживание объектов, интегрируются в игры для улучшения взаимодействия и отзывчивости в реальном времени.

В этой статье мы подробнее рассмотрим, как компьютерное зрение используется в играх для улучшения пользовательского опыта и формирования будущего интерактивных развлечений. Давай начнём!

Последние тенденции в области AI и компьютерного зрения в играх#

Прежде чем перейти к примерам использования компьютерного зрения в индустрии видеоигр, давай рассмотрим последние тенденции в области AI.

Генеративный AI в игровой индустрии#

Одна из основных тенденций — использование генеративного AI, чтобы сделать игровых персонажей более интеллектуальными и отзывчивыми. Отличный пример — создание первого босса на базе AI в предстоящей онлайн-игре MIR5.

В играх битва с боссом обычно представляет собой сложное сражение с могущественным противником, который появляется в ключевые моменты игры, часто в конце уровня или сюжетной линии. Такие сражения обычно проверяют навыки игрока и создают ощущение напряжения и награды.

Рис. 1. Первый босс на базе AI.

Традиционно персонажи-боссы следуют запрограммированным сценариям, каждый раз используя один и тот же набор приёмов. Но в MIR5 этот новый босс на базе AI действительно учится у сражающихся с ним игроков. Он наблюдает за их поведением, используемым оружием, передвижениями и стратегиями, а затем адаптирует собственные атаки, чтобы сохранять сложность сражения.

Поэтому, если ты снова вернёшься сразиться с тем же боссом, он может повести себя иначе. Такое адаптивное поведение делает сражения более реалистичными и заставляет игроков быстро принимать решения, а не просто запоминать шаблоны.

Компьютерное зрение в VR-играх#

Ещё одна тенденция в области AI в играх — всё более широкое использование виртуальной реальности (VR). VR — это технология, которая позволяет игрокам погрузиться в полностью цифровой трёхмерный мир с помощью гарнитуры и контроллеров движений. Она создаёт ощущение пребывания внутри игры, а не просто наблюдения за ней на экране.

В сочетании с компьютерным зрением AI используется для более точного отслеживания движений и реакций игроков в VR-играх. Для этого применяются камеры и датчики, которые фиксируют движения в реальном мире — например, повороты головы, жесты рук или даже выражение лица, — а затем преобразуют эти данные в действия внутри игры. Это помогает создавать более плавный и реалистичный опыт в VR, где твои жесты и движения действительно связаны с игровым миром.

Реальные примеры использования компьютерного зрения в играх#

Теперь давай рассмотрим несколько интересных способов использования компьютерного зрения в популярных видеоиграх. Будь то повышение интерактивности игрового процесса или новые способы управления персонажами, AI на базе компьютерного зрения уже меняет то, как мы играем.

Гонки в смешанной реальности с использованием компьютерного зрения#

Hot Wheels: Rift Rally — это гоночная игра, которая объединяет физическую дистанционно управляемую (RC) машину с виртуальным игровым процессом. Игроки могут управлять машиной по своему жилому пространству, а на экране отображается её цифровая версия, выполняющая такие трюки, как заносы, прыжки и ускорения. Хотя настоящая машина остаётся на земле, игра создаёт иллюзию скоростного действия, накладывая визуальные эффекты на изображение с камеры в реальном времени.

Эта система использует технологию смешанной реальности (она объединяет реальный и цифровой миры, позволяя физическим и виртуальным элементам взаимодействовать в реальном времени) и компьютерное зрение. Машина RC оснащена камерой, которая сканирует окружающее пространство во время движения. Игроки размещают в комнате визуальные маркеры — чёрно-белые картонные ворота, — называемые фидуциальными маркерами, которые система использует в качестве опорных точек.

Компьютерное зрение помогает игре распознавать эти маркеры, отслеживать положение машины и создавать виртуальную карту пространства. Благодаря этому игра может точно размещать цифровой контент, например трассы и препятствия, в окружении реального мира, синхронизируя физическое движение с происходящим на экране.

Рис. 2. Машина RC оснащена камерой, расположенной перед фидуциальным маркером.

Обучение виртуальных питомцев с помощью AI на базе компьютерного зрения#

Peridot — мобильная игра, разработанная Niantic (той же компанией, которая создала Pokémon Go, один из первых и самых популярных примеров использования компьютерного зрения в AR-игре), — использует компьютерное зрение и дополненную реальность, чтобы забота о цифровом питомце ощущалась частью реального мира.

Игроки могут заботиться о существе по имени Peridot: кормить его, играть с ним и выводить на прогулки. Пока ты перемещаешься по дому или району, питомец появляется на телефоне и исследует пространство вместе с тобой, бегает по полу, реагирует на предметы и даже прячется за настоящей мебелью.

Чтобы это стало возможным, игра использует такие методы компьютерного зрения, как 3D-картографирование и семантическая сегментация, при которой система с помощью камеры телефона сканирует окружающее пространство и понимает его. Это помогает питомцу распознавать разные поверхности и реагировать на них — например, отличать траву от бетона или реагировать на такие препятствия, как стулья и деревья.

Рис. 3. Питомец в игре Peridot.

Отслеживание рук и общие пространства смешанной реальности#

Demeo, цифровая настольная RPG (ролевая игра), использует функции смешанной реальности, чтобы перенести игровой процесс в реальный мир с помощью гарнитур Meta Quest 2 и Quest Pro. После недавнего обновления игра поддерживает отслеживание рук и совместное размещение, благодаря чему игроки могут использовать естественные движения рук для взаимодействия с игровыми элементами и находиться в одном физическом и цифровом пространстве с другими участниками локальных многопользовательских сессий.

Например, игроки могут играть в Demeo, одновременно гладя свою настоящую собаку, — это небольшой, но важный пример того, как смешанная реальность может объединять цифровое и физическое пространства. Эти функции обеспечиваются технологиями компьютерного зрения. Отслеживание рук работает благодаря встроенным в гарнитуру камерам, которые обнаруживают и интерпретируют движения и положение рук игрока, устраняя необходимость в традиционных контроллерах.

Рис. 4. Пример игрового процесса в Demeo.

Тем временем совместное размещение использует пространственные якоря и данные облака точек для картографирования окружения реального мира, благодаря чему несколько гарнитур могут синхронизировать одно и то же виртуальное пространство. Это позволяет игрокам в одной комнате видеть игровое поле и друг друга в одинаковых положениях, создавая эффект совместной виртуальной настольной игры.

Преимущества и недостатки компьютерного зрения в играх#

Компьютерное зрение меняет способы взаимодействия людей с играми, делая игровой опыт более естественным и захватывающим. Оно позволяет игрокам использовать жесты, движения тела или даже отслеживание взгляда для управления игровым процессом, а также помогает играм реагировать на окружение реального мира в реальном времени. Эти функции не только улучшают общий опыт, но и делают игры доступнее для более широкого круга игроков.

В то же время у этой технологии есть несколько ограничений. Она может потреблять больше заряда батареи и вычислительных ресурсов, а также работать менее плавно при слабом освещении или в очень загруженной обстановке. Важны и вопросы конфиденциальности, поскольку технология часто использует данные с камеры.

Однако по мере развития технологии разработчики находят эффективные решения для повышения производительности и устранения этих проблем, делая компьютерное зрение ещё более полезным и надёжным инструментом в играх.

Основные выводы#

Компьютерное зрение и AI меняют способы создания и прохождения игр. Помогают ли они персонажам реагировать реалистичнее или делают игровой процесс более связанным с реальным миром — эти технологии открывают захватывающие возможности. Они не просто улучшают внешний вид игр, а делают их более интеллектуальными и увлекательными.

От инди-игр до релизов крупных студий — всё больше разработчиков экспериментируют с функциями на базе компьютерного зрения. По мере развития этих инструментов можно ожидать ещё более творческих и захватывающих впечатлений от игр будущего.

Изучи страницы с описанием наших решений, чтобы узнать о применении AI в производстве и компьютерного зрения в здравоохранении. Ознакомься с вариантами лицензирования, чтобы начать создавать собственные инновации в области компьютерного зрения!