Yolo Vision Shenzhen
Шэньчжэнь
Присоединиться сейчас

Интеграция компьютерного зрения в робототехнику с помощью Ultralytics YOLO11

Абирами Вина

5 мин чтения

18 марта 2025 г.

Посмотрите, как модели компьютерного зрения, такие как Ultralytics YOLO11 , делают роботов умнее и формируют будущее робототехники.

Роботы прошли долгий путь со времен Unimate, первого промышленного робота, изобретенного в 1950-х годах. То, что начиналось как предварительно запрограммированные машины, основанные на правилах, теперь превратилось в интеллектуальные системы, способные выполнять сложные задачи и беспрепятственно взаимодействовать с реальным миром. 

Сегодня роботы используются в различных отраслях промышленности, от производства и здравоохранения до сельского хозяйства, для автоматизации различных процессов. Ключевым фактором в развитии робототехники является ИИ и компьютерное зрение, отрасль ИИ, которая помогает машинам понимать и интерпретировать визуальную информацию.

Например, модели компьютерного зрения, такие как Ultralytics YOLO11 повышают интеллектуальность роботизированных систем. Интегрированный в эти системы, искусственный интеллект зрения позволяет роботам распознавать объекты, ориентироваться в окружающей среде и принимать решения в режиме реального времени.

В этой статье мы рассмотрим, как YOLO11 может усовершенствовать роботов с помощью расширенных возможностей компьютерного зрения, и изучим его применение в различных отраслях.

Обзор ИИ и компьютерного зрения в робототехнике

Основная функциональность робота зависит от того, насколько хорошо он понимает свое окружение. Это осознание связывает его физическое оборудование с принятием разумных решений. Без этого роботы могут только следовать фиксированным инструкциям и с трудом адаптироваться к изменяющимся условиям или справляться со сложными задачами. Подобно тому, как люди полагаются на зрение для ориентации, роботы используют компьютерное зрение для интерпретации окружающей среды, понимания ситуации и принятия соответствующих мер.

Рис. 1. Робот играет в крестики-нолики, используя компьютерное зрение для интерпретации игрового поля и выполнения стратегических ходов.

Компьютерное зрение является основополагающим для большинства робототехнических задач. Оно помогает роботам detect объекты и избегать препятствий при передвижении. Однако для этого недостаточно просто видеть мир; роботы также должны уметь быстро реагировать. В реальных ситуациях даже небольшая задержка может привести к дорогостоящим ошибкам. Такие модели, как Ultralytics YOLO11 , позволяют роботам получать информацию в режиме реального времени и мгновенно реагировать даже в сложных или незнакомых ситуациях.

Знакомство с Ultralytics YOLO11

Прежде чем мы узнаем, как YOLO11 может быть интегрирован в роботизированные системы, давайте рассмотрим основные характеристики YOLO11.

МоделиUltralytics YOLO поддерживают различные задачи компьютерного зрения, которые помогают быстро получать информацию в режиме реального времени. В частности, Ultralytics YOLO11 обеспечивает более высокую производительность, низкие вычислительные затраты и повышенную точность. Например, она может использоваться для detect объектов на изображениях и видео с высокой точностью, что делает ее идеальной для применения в таких областях, как робототехника, здравоохранение и производство. 

Вот некоторые важные особенности, которые делают YOLO11 отличным вариантом для робототехники:

  • Простота развертывания: Ее легко развернуть и интегрировать в широкий спектр программных и аппаратных платформ.
  • Адаптивность: YOLO11 отлично работает в различных средах и аппаратных установках, обеспечивая стабильную производительность даже в динамичных условиях.

Удобство для пользователя: понятная документация и интерфейсYOLO11помогают сократить время обучения, что упрощает его интеграцию в роботизированные системы.

Рис. 2. Пример анализа позы людей на изображении с помощью YOLO11.

Исследование задач компьютерного зрения с помощью YOLO11

Вот более подробный обзор некоторых задач компьютерного зрения, которые поддерживает YOLO11 : 

  • Обнаружение объекта: Функция обнаружения объектов в реальном времени YOLO11 позволяет роботам мгновенно определять и находить объекты в поле зрения. Это помогает роботам избегать препятствий, выполнять динамическое планирование траектории и осуществлять автоматическую навигацию как в помещении, так и на улице.
  • Сегментация объектов: Определяя точные границы и формы отдельных объектов, YOLO11 позволяет роботам выполнять точные операции по подбору и размещению объектов и сложные задачи по сборке.
  • Оценка позы: Поддержка оценки позы в YOLO11позволяет роботам распознавать и интерпретировать движения человеческого тела и жесты. Это очень важно для совместных роботов (коботов), чтобы безопасно работать рядом с человеком.
  • Слежение за объектом: YOLO11 позволяет track движущиеся объекты во времени, что делает его идеальным для приложений, связанных с автономной робототехникой, которым необходимо следить за окружающей обстановкой в режиме реального времени.
  • Классификация изображений: YOLO11 может classify объекты на изображениях, позволяя роботам классифицировать предметы, detect аномалии или принимать решения на основе типов объектов, например, идентифицировать медицинские принадлежности в медицинских учреждениях.
Рис. 3. Задачи компьютерного зрения, поддерживаемые YOLO11.

ИИ в робототехнике: Powered by YOLO11

Модели, подобные YOLO11 , помогают переосмыслить возможности роботов - от интеллектуального обучения до промышленной автоматизации. Его интеграция в робототехнику демонстрирует, как модели компьютерного зрения способствуют прогрессу в автоматизации. Давайте рассмотрим некоторые ключевые области, в которых YOLO11 может оказать значительное влияние.

Обучение роботов с использованием компьютерного зрения 

Компьютерное зрение широко используется в гуманоидных роботах, позволяя им обучаться, наблюдая за окружающей средой. Такие модели, как YOLO11 , могут помочь улучшить этот процесс, обеспечивая расширенное обнаружение объектов и оценку позы, что помогает роботам точно интерпретировать действия и поведение человека.

Анализируя тонкие движения и взаимодействия в режиме реального времени, роботов можно обучать воспроизведению сложных человеческих задач. Это позволяет им выходить за рамки заранее запрограммированных действий и изучать такие задачи, как использование пульта дистанционного управления или отвертки, просто наблюдая за человеком.

Рис. 4. Робот, имитирующий действия человека.

Этот тип обучения может быть полезен в различных отраслях. Например, в сельском хозяйстве роботы могут наблюдать за тем, как рабочие выполняют такие задачи, как посадка, сбор урожая и уход за посевами. Копируя то, как люди выполняют эти задачи, роботы могут адаптироваться к различным условиям ведения сельского хозяйства без необходимости программирования для каждой ситуации.

Приложения, связанные с робототехникой в здравоохранении

Аналогичным образом, в здравоохранении компьютерное зрение приобретает все большее значение. Например, YOLO11 можно использовать в медицинских устройствах, чтобы помочь хирургам в проведении сложных операций. Благодаря таким функциям, как обнаружение объектов и сегментация экземпляров, YOLO11 может помочь роботам обнаружить внутренние структуры тела, управлять хирургическими инструментами и выполнять точные движения.

Хотя это может показаться чем-то из области научной фантастики, недавние исследования демонстрируют практическое применение компьютерного зрения в хирургических операциях. В интересном исследовании автономной роботизированной диссекции для холецистэктомии (удаления желчного пузыря) ученые интегрировали YOLO11 для сегментации тканей (классификации и разделения различных тканей на изображении) и определения ключевых точек хирургических инструментов (идентификации определенных ориентиров на инструментах). 

Система смогла точно различать различные типы тканей — даже когда ткани деформировались (меняли форму) во время процедуры — и динамически адаптировалась к этим изменениям. Это позволило роботизированным инструментам следовать точным путям диссекции (хирургического разреза).

Интеллектуальное производство и промышленная автоматизация

Роботы, которые могут брать и размещать объекты, играют ключевую роль в автоматизации производственных операций и оптимизации цепочек поставок. Их скорость и точность позволяют им выполнять задачи с минимальным участием человека, такие как идентификация и сортировка предметов. 

Благодаря точной сегментации экземпляров YOLO11роботизированные руки могут быть обучены detect и segment объекты, движущиеся по конвейерной ленте, точно подбирать их и помещать в определенные места в зависимости от их типа и размера.

Например, популярные автопроизводители используют роботов с компьютерным зрением для сборки различных деталей автомобиля, повышая скорость и точность сборочных линий. Модели компьютерного зрения, подобные YOLO11 , позволяют этим роботам работать вместе с людьми, обеспечивая беспрепятственную интеграцию автоматизированных систем в динамичные производственные процессы. Такое усовершенствование может привести к ускорению производства, уменьшению количества ошибок и повышению качества продукции.

Рис. 5. Роботизированная рука на основе машинного зрения, собирающая автомобиль.

Преимущества интеграции Ultralytics YOLO11 в робототехнику

YOLO11 обладает рядом ключевых преимуществ, которые делают его идеальным для беспрепятственной интеграции в автономные робототехнические системы. Вот некоторые из основных преимуществ:

  • Низкий задержка вывода: YOLO11 обеспечивает высокоточные прогнозы с низкой задержкой, даже в динамичных средах.
  • Легкие модели: Разработанные для оптимизации производительности, легкие модели YOLO11позволяют меньшим роботам с меньшей вычислительной мощностью иметь расширенные возможности видения без ущерба для эффективности.
  • Энергоэффективность: YOLO11 разработан с учетом требований энергоэффективности, что делает его идеальным для роботов с батарейным питанием, которым необходимо экономить энергию, сохраняя высокую производительность.

Ограничения Vision AI в робототехнике

Хотя модели компьютерного зрения предоставляют мощные инструменты для роботизированного зрения, существуют некоторые ограничения, которые следует учитывать при их интеграции в реальные роботизированные системы. Некоторые из этих ограничений включают в себя:

  • Дорогостоящий сбор данных: Обучение эффективных моделей для конкретных задач робота часто требует больших, разнообразных и хорошо размеченных наборов данных, которые дорого стоят.
  • Изменения окружающей среды: Роботы работают в непредсказуемой среде, где такие факторы, как условия освещения или загроможденный фон, могут повлиять на производительность моделей машинного зрения.
  • Проблемы калибровки и выравнивания: Обеспечение правильной калибровки и выравнивания систем машинного зрения с другими датчиками робота имеет жизненно важное значение для точной работы, а неправильное выравнивание может привести к ошибкам в принятии решений.

Будущее достижений в робототехнике и искусственном интеллекте

Системы компьютерного зрения — это не просто инструменты для современных роботов; это строительные блоки для будущего, в котором роботы смогут работать автономно. Благодаря своим возможностям обнаружения в реальном времени и поддержке нескольких задач, они идеально подходят для робототехники следующего поколения.

Фактически, текущие тенденции рынка показывают, что компьютерное зрение становится все более важным в робототехнике. Отраслевые отчеты подчеркивают, что компьютерное зрение является второй по распространенности технологией на мировом рынке AI-робототехники. 

Рис. 6. Доля мирового рынка AI-роботов по технологиям.

Основные выводы

Благодаря способности обрабатывать визуальные данные в режиме реального времени YOLO11 может помочь роботам более точно detect, идентифицировать и взаимодействовать с окружающей средой. Это имеет огромное значение в таких областях, как производство, где роботы могут сотрудничать с людьми, и здравоохранение, где они могут помогать в сложных операциях. 

По мере развития робототехники интеграция компьютерного зрения в такие системы будет иметь решающее значение для обеспечения возможности более эффективного выполнения роботами широкого спектра задач. Будущее робототехники выглядит многообещающим, поскольку ИИ и компьютерное зрение способствуют созданию еще более интеллектуальных и адаптируемых машин.

Присоединяйтесь к нашему сообществу и ознакомьтесь с нашим репозиторием GitHub, чтобы узнать больше о последних разработках в области ИИ. Изучите различные применения ИИ в здравоохранении и компьютерного зрения в сельском хозяйстве на страницах наших решений. Ознакомьтесь с нашими планами лицензирования, чтобы создать собственные решения в области компьютерного зрения.

Давайте строить будущее
ИИ вместе!

Начните свой путь в будущее машинного обучения

Начать бесплатно