Использование обучения с подкреплением в проектах компьютерного зрения

Простой способ объяснить искусственный интеллект (AI) — это сказать, что это область, сосредоточенная на воспроизведении того, как люди думают и учатся. Отсюда и возникла идея методов обучения в AI — различных подходов, которые позволяют машинам со временем повышать свою эффективность, как это делают люди.

Ранее мы рассмотрели ключевые методы обучения AI, включая обучение с учителем, без учителя, с подкреплением и перенос обучения, а также то, какую важную роль каждый из них играет в обработке информации и принятии решений моделями AI.

Сегодня мы подробнее рассмотрим обучение с подкреплением — метод, который учит системы AI на основе опыта, взаимодействуя с окружающей средой и совершенствуясь благодаря обратной связи. В частности, мы изучим, как обучение с подкреплением можно применять в задачах компьютерного зрения — системах, позволяющих машинам интерпретировать и понимать визуальную информацию из окружающего мира.

Объединение таких концепций, как обучение с подкреплением и компьютерное зрение, открывает новые захватывающие возможности и представляет собой активное направление исследований. Это позволяет системам AI распознавать увиденное и принимать обоснованные решения на основе визуальной информации.

Что такое обучение с подкреплением?#

Обучение с подкреплением — это раздел машинного обучения, в котором AI-агент учится, выполняя действия и получая обратную связь в виде вознаграждений или штрафов. Цель состоит в том, чтобы со временем определить, какие действия приводят к наилучшим результатам.

Обучение с подкреплением можно представить как дрессировку собаки. Когда собака садится по команде, ты даёшь ей лакомство. Через некоторое время собака понимает, что за усаживанием следует награда. В обучении с подкреплением AI-агент или модель подобны собаке, окружающая среда — это окружающий мир, а награда помогает понять, было ли действие правильным.

Это отличается от обучения с учителем, при котором модели AI показывают множество примеров правильных ответов. Например, модели могут показать изображение собаки и сказать: «Это собака».

Обучение с подкреплением, напротив, не опирается на размеченные данные. Вместо этого оно предполагает обучение через выполнение различных действий и анализ их результатов — примерно как в игре, где ты выясняешь, какие ходы помогают победить.

Рис. 1. Обучение с подкреплением и обучение с учителем.

Обучение с подкреплением особенно важно для задач, в которых решения принимаются пошагово, а каждый выбор влияет на дальнейшее развитие событий. Этот тип обучения используется в стратегических видеоиграх, чтобы сделать игровой процесс более сложным и увлекательным для игроков.

Как работает обучение с подкреплением в решениях AI#

Представь, как ты учишься ездить на велосипеде. Сначала ты можешь падать. Но с практикой начинаешь понимать, что помогает сохранять равновесие. Чем больше ты ездишь, тем лучше у тебя получается. Ты учишься на практике, а не просто по указаниям.

Обучение с подкреплением работает для AI похожим образом. Система учится на основе опыта — пробует разные действия, наблюдает за происходящим и постепенно совершенствует способность со временем принимать правильные решения.

Рис. 2. Как работает обучение с подкреплением.

Рассмотрим некоторые ключевые компоненты обучения с подкреплением:

• Агент: Агент — это обучаемый компонент или лицо, принимающее решения. Он взаимодействует с окружающей средой, выполняя действия, и стремится достичь конкретной цели.
• Окружающая среда: Окружающая среда включает всё, с чем взаимодействует агент. Она изменяется в ответ на действия агента и предоставляет обратную связь на основе результатов.
• Состояние: Состояние представляет собой снимок текущей ситуации в окружающей среде. Агент наблюдает за состоянием, чтобы понять, что происходит вокруг, и определить следующее действие.
• Действие: Действие — это ход или решение агента, влияющее на окружающую среду. Каждое действие приводит к новому состоянию и может влиять на будущие вознаграждения.
• Вознаграждение: Вознаграждение — это обратная связь от окружающей среды, которая сообщает агенту, было ли его действие полезным. Положительные вознаграждения побуждают агента повторять хорошие действия, а отрицательные — избегать неудачных.
• Политика: Политика — это стратегия агента по выбору действий на основе текущего состояния. Со временем агент совершенствует свою политику, чтобы максимизировать общее вознаграждение, которое он может получить.

Совместное использование этих компонентов позволяет обучению с подкреплением формировать эффективное поведение систем AI методом постоянных проб и ошибок. С каждой попыткой агент становится лучше и выбирает действия, которые приводят к более высоким вознаграждениям и лучшим результатам.

Инновации в компьютерном зрении с использованием обучения с подкреплением#

Компьютерное зрение используется для таких задач, как обнаружение объектов на изображениях, классификация содержимого изображения и сегментация изображения на различные части. Модели компьютерного зрения, такие как Ultralytics YOLO11, поддерживают такие задачи и могут применяться для создания эффективных приложений, способных извлекать визуальные данные.

Однако когда такие задачи Vision AI объединяются с обучением с подкреплением, получается решение AI, которое не просто видит, но и учится действовать на основе визуальных данных, совершенствуясь со временем.

Интересным примером применения обучения с подкреплением в компьютерном зрении является использование роботов на складах. Роботы, оснащённые камерами и системами компьютерного зрения, могут анализировать окружающую обстановку, определять местоположение каждого предмета, распознавать его форму и размер, а также понимать, как он размещён на полке.

Каждый раз, когда робот пытается взять предмет, он получает обратную связь: успех, если предмет поднят правильно, или неудачу, если он его роняет. Со временем робот учится тому, какие действия лучше всего подходят для разных предметов. Вместо следования фиксированному набору инструкций он постоянно совершенствуется на основе опыта.

Рис. 3. Роботизированная рука использует Vision AI и обучение с подкреплением для захвата объектов.

Применение обучения с подкреплением в компьютерном зрении#

Теперь, когда мы лучше понимаем, что такое обучение с подкреплением и какую роль оно играет в компьютерном зрении, рассмотрим подробнее примеры совместного применения обучения с подкреплением и компьютерного зрения.

Интеграция Vision AI и обучения с подкреплением для создания более интеллектуальных транспортных средств#

Автономные транспортные средства могут использовать Vision AI для понимания окружающей обстановки, а обучение с подкреплением — для принятия решений на основе увиденного. Отличный пример практического применения этой технологии — AWS DeepRacer.

AWS DeepRacer — полностью автономный гоночный автомобиль в масштабе 1/18, который учится управлять, используя камеру и обучение с подкреплением. Вместо того чтобы получать инструкции, он самостоятельно разбирается в происходящем: пробует, ошибается и учится на своих ошибках.

Камера этой миниатюрной машины работает подобно паре глаз, захватывая изображение трассы впереди. На основе увиденного автомобиль учится поворачивать и выбирать скорость. С каждым кругом он становится лучше. Например, он может научиться проходить повороты по более широкой траектории или замедляться перед крутыми поворотами, анализируя предыдущие попытки.

Обучение DeepRacer начинается в виртуальной среде, где модель отрабатывает и совершенствует навыки вождения. После достижения определённого уровня производительности эти навыки переносятся на реальные трассы с физическими автомобилями.

Рис. 4. AWS DeepRacer использует зрение и обучение с подкреплением для автономного вождения. Источник изображения: Amazon.

Переход к автономным хирургическим роботам#

Перспективным направлением исследований, привлекающим всё больше внимания, является интеграция Vision AI и обучения с подкреплением в роботизированную хирургию. В настоящее время это применение всё ещё в основном носит теоретический характер. Исследователи проводят симуляции в виртуальных средах.

Однако первые эксперименты показывают многообещающие результаты и позволяют предположить, что в будущем хирургические роботы смогут выполнять сложные и деликатные процедуры с большей точностью, адаптивностью и минимальным вмешательством человека.

Рис. 5. Хирургические роботы становятся всё более совершенными.

Например, представь ситуацию, в которой необходимо осторожно поднять кусочек марли с операционного поля. Робот, оснащённый Vision AI, сначала проанализирует сцену, используя сегментацию для определения марли и окружающих тканей.

Затем обучение с подкреплением поможет хирургическому роботу решить, как подойти к задаче: определить лучший угол захвата марли, силу давления и способ поднять её, не затронув расположенные рядом чувствительные участки. Со временем и благодаря многократной практике в симулированных средах робот сможет научиться выполнять эти тонкие и критически важные движения с возрастающим мастерством и уверенностью.

Преимущества и недостатки обучения с подкреплением в Vision AI#

Обучение с подкреплением позволяет системам Vision AI выйти за пределы простого распознавания и начать принимать решения на основе увиденного. Это открывает новые возможности в таких областях, как робототехника, автоматизация и взаимодействие в реальном времени.

Вот некоторые ключевые преимущества интеграции обучения с подкреплением в рабочие процессы Vision AI:

• Меньшая зависимость от размеченных данных: Эти системы могут учиться на взаимодействии, поэтому для начала работы им не нужны огромные размеченные наборы данных.
• Лучше справляется с неопределённостью: Обучение с подкреплением может работать с неполной или зашумлённой визуальной информацией, корректируя действия на основе обратной связи, а не полагаясь только на идеальные данные.
• Поддерживает долгосрочное обучение: Оно помогает моделям со временем совершенствоваться, обучаясь на последовательностях действий, а не только на отдельных пошаговых решениях.

С другой стороны, следует учитывать следующие ограничения обучения с подкреплением:

• Проблема распределения заслуг: Агенту может быть сложно определить, какие именно действия повлияли на конечный результат, особенно в длинных последовательностях решений.
• Риск небезопасного исследования: Во время обучения агент может пробовать небезопасные или нежелательные действия, которые были бы неприемлемы в реальных приложениях, например в здравоохранении или автономном вождении.
• Медленная сходимость: Модели может потребоваться много времени, чтобы достичь хорошей производительности, особенно при выполнении сложных задач.

Основные выводы#

Обучение с подкреплением в проектах компьютерного зрения позволяет системам AI понимать окружающую обстановку и учиться действовать на основе опыта. Благодаря моделям вроде Ultralytics YOLO11, обеспечивающим обнаружение объектов в реальном времени, система может принимать обоснованные решения на основе увиденного.

Этот подход выходит за рамки традиционных методов, позволяя AI совершенствоваться благодаря пробам и обратной связи, а не полагаться исключительно на размеченные данные. Он поддерживает непрерывное обучение и помогает создавать более гибкие, адаптивные и интеллектуальные системы Vision AI, которые со временем становятся лучше.

Присоединяйся к нашему растущему сообществу. Посети наш репозиторий на GitHub, чтобы глубже погрузиться в AI. Хочешь начать собственные проекты в области компьютерного зрения? Изучи наши варианты лицензирования. Узнай больше об AI в производстве и Vision AI в автомобильной промышленности на наших страницах с решениями.