5 июня 2025 г.
Узнайте, как обучение с подкреплением в приложениях компьютерного зрения помогает системам видеть, принимать решения и совершенствоваться в реальных приложениях в различных отраслях.
Простой способ объяснить, что такое искусственный интеллект (ИИ), — это сказать, что это область, сосредоточенная на воссоздании того, как люди думают и учатся. Отсюда и берется идея методов обучения в ИИ, которые представляют собой различные способы, позволяющие машинам со временем улучшать свою производительность, как это делают люди.
Ранее мы изучили ключевые методы машинного обучения, включая обучение с учителем, обучение без учителя, обучение с подкреплением и трансферное обучение, и то, какую важную роль играет каждый из них в помощи AI-моделям обрабатывать информацию и принимать решения.
Сегодня мы более подробно рассмотрим обучение с подкреплением — метод, который обучает системы ИИ учиться на опыте, взаимодействуя со средой и улучшаясь на основе обратной связи. В частности, мы рассмотрим, как обучение с подкреплением может быть применено к приложениям компьютерного зрения — системам, которые позволяют машинам интерпретировать и понимать визуальную информацию из мира.
Объединение таких концепций, как обучение с подкреплением и компьютерное зрение, открывает захватывающие новые возможности и является активной областью исследований. Это позволяет системам искусственного интеллекта распознавать то, что они видят, и принимать обоснованные решения на основе этой визуальной информации.
Обучение с подкреплением — это раздел машинного обучения, в котором AI-агент учится, совершая действия и получая обратную связь в виде вознаграждений или штрафов. Цель состоит в том, чтобы выяснить, какие действия приводят к наилучшим результатам с течением времени.
Обучение с подкреплением можно представить как дрессировку собаки. Когда собака садится по команде, вы даете ей лакомство. Через некоторое время собака понимает, что сидение приводит к вознаграждению. В обучении с подкреплением агент или модель ИИ подобны собаке; окружающая среда — это мир вокруг нее, а вознаграждение помогает понять, правильно ли был сделан ход.
Это отличается от обучения с учителем, где модели ИИ показывают много примеров правильных ответов. Например, модели могут показать изображение собаки и сказать: «Это собака».
Обучение с подкреплением, с другой стороны, не полагается на размеченные данные. Вместо этого оно включает в себя обучение путем проб различных действий и обучения на результатах, во многом как игра, в которой вы выясняете, какие ходы помогают вам выиграть.
Обучение с подкреплением имеет решающее значение для задач, в которых решения принимаются шаг за шагом, и каждый выбор меняет то, что произойдет дальше. Этот тип обучения используется в стратегических видеоиграх, чтобы сделать игровой процесс более сложным и увлекательным для игроков.
Вспомните, как вы учитесь ездить на велосипеде. Сначала вы можете упасть. Но с практикой вы начинаете понимать, что помогает вам сохранять равновесие. Чем больше вы ездите, тем лучше у вас получается. Вы учитесь на практике, а не просто слушая, что нужно делать.
Обучение с подкреплением работает аналогичным образом для AI. Он учится на опыте — пробуя разные действия, наблюдая за тем, что происходит, и постепенно улучшая свою способность делать правильный выбор с течением времени.
Вот обзор некоторых ключевых компонентов обучения с подкреплением:
Используя эти компоненты вместе, обучение с подкреплением позволяет AI-системам изучать эффективные модели поведения посредством непрерывных проб и ошибок. С каждой попыткой агент становится лучше в выборе действий, которые приводят к более высоким вознаграждениям и лучшим результатам.
Компьютерное зрение используется для таких задач, как обнаружение объектов на изображениях, классификация того, что находится на изображении, и сегментация изображения на различные части. Модели компьютерного зрения, такие как Ultralytics YOLO11, поддерживают такие задачи и могут использоваться для создания эффективных приложений, которые могут собирать визуальную информацию.
Однако, когда эти задачи Vision AI объединяются с обучением с подкреплением, результатом является решение AI, которое не просто видит; оно также учится действовать на основе визуальных данных и со временем становится лучше.
Интересным примером обучения с подкреплением в приложениях компьютерного зрения является использование роботов на складах. Роботы, оснащенные камерами и системами компьютерного зрения, могут анализировать окружающую обстановку, определять местонахождение каждого предмета, идентифицировать его форму и размер, а также понимать, как он расположен на полке.
Каждый раз, когда робот пытается поднять предмет, он получает обратную связь — успех, если предмет поднят правильно, или неудачу, если он упал. Со временем робот узнает, какие действия лучше всего подходят для разных предметов. Вместо того чтобы следовать фиксированному набору инструкций, он постоянно совершенствуется благодаря опыту.
Теперь, когда у нас есть лучшее понимание того, что такое обучение с подкреплением и его роль в компьютерном зрении, давайте подробнее рассмотрим некоторые примеры того, где обучение с подкреплением и компьютерное зрение используются вместе.
Автономные транспортные средства могут полагаться как на Vision AI для понимания окружающей обстановки, так и на обучение с подкреплением для принятия решений на основе увиденного. Отличным примером этого в действии является AWS DeepRacer.
AWS DeepRacer — это полностью автономный гоночный автомобиль масштаба 1/18, который учится водить, используя камеру и обучение с подкреплением. Вместо того чтобы получать указания, что делать, он сам во всем разбирается, пробуя, совершая ошибки и учась на них.
Камера этой крошечной машинки работает как пара глаз, фиксируя трассу впереди. На основе того, что она видит, машина учится, как рулить и с какой скоростью ехать. С каждым кругом она становится лучше. Например, она может научиться делать более широкие повороты или замедляться перед крутыми поворотами, учась на прошлых попытках.
Обучение для DeepRacer начинается в виртуальной среде, где модель тренируется и совершенствует свои навыки вождения. Как только она достигает определенного уровня производительности, эти навыки переносятся на реальные трассы с физическими автомобилями.
Интересной областью исследований, которая привлекает внимание, является интеграция Vision AI и обучения с подкреплением в роботизированной хирургии. На данный момент это приложение все еще носит в основном теоретический характер. Исследователи проводят симуляции в виртуальных средах.
Однако первые эксперименты показывают многообещающие результаты, позволяющие предположить, что хирургические роботы в конечном итоге смогут выполнять сложные, деликатные процедуры с большей точностью, адаптивностью и минимальным вмешательством человека.
Например, представьте себе ситуацию, когда кусок марли необходимо аккуратно поднять с хирургического участка. Робот, оснащенный Vision AI, сначала проанализирует сцену, используя сегментацию для идентификации марли и окружающих тканей.
В дальнейшем обучение с подкреплением поможет хирургическому роботу решить, как подходить к задаче, определяя наилучший угол для захвата марли, какое давление приложить и как поднять ее, не задев близлежащие чувствительные области. Со временем и посредством многократной практики в смоделированных средах робот сможет научиться выполнять эти тонкие, критически важные движения с возрастающим мастерством и уверенностью.
Обучение с подкреплением позволяет системам Vision AI выйти за рамки простого распознавания и начать принимать решения на основе того, что они видят. Это открывает новые возможности в таких областях, как робототехника, автоматизация и взаимодействие в реальном времени.
Вот некоторые из ключевых преимуществ интеграции обучения с подкреплением в рабочие процессы Vision AI:
С другой стороны, вот некоторые ограничения, которые следует учитывать при обучении с подкреплением:
Обучение с подкреплением в проектах компьютерного зрения позволяет AI-системам понимать окружающую среду и учиться действовать на основе опыта. Благодаря таким моделям, как Ultralytics YOLO11, обеспечивающим обнаружение объектов в реальном времени, система может принимать обоснованные решения на основе того, что она видит.
Этот подход выходит за рамки традиционных методов, позволяя AI совершенствоваться посредством проб и ошибок вместо того, чтобы полагаться исключительно на размеченные данные. Он поддерживает непрерывное обучение и помогает создавать более гибкие, адаптивные и интеллектуальные системы Vision AI, которые со временем становятся лучше.
Присоединяйтесь к нашему растущему сообществу. Посетите наш репозиторий на GitHub, чтобы глубже погрузиться в ИИ. Хотите начать свои собственные проекты в области компьютерного зрения? Изучите наши варианты лицензирования. Узнайте больше об ИИ в производстве и Vision AI в автомобильной промышленности на страницах наших решений.
