Ultralytics YOLO27: Вступи в список ожидания.
Лицензия YOLO
Назад к глоссарию Ultralytics

Robotics

Робототехника создаёт машины, которые воспринимают физический мир, принимают решения и действуют в нём. Как взаимодействуют восприятие, планирование, управление и обученные политики роботов.

Робототехника — область инженерии, которая проектирует, создаёт и программирует роботов: машины, воспринимающие окружающую среду, решающие, что делать, и воздействующие на физический мир с помощью двигателей и других исполнительных механизмов. Она объединяет машиностроение, электротехнику, теорию управления и информатику. Классические промышленные роботы повторяют заранее запрограммированные движения в ограждённых ячейках, а искусственный интеллект (AI) помогает новым роботам справляться с изменчивостью: находить детали, которые каждый раз расположены по-разному, объезжать людей и осваивать навыки манипуляции по демонстрациям вместо написанного вручную кода.

Как работает робот: воспринимает, планирует, действует#

Большинство программного обеспечения для роботов непрерывно работает по схеме «восприятие — планирование — действие»:

  • Сенсорное восприятие: Камеры, датчики глубины, лидары, инерциальные измерительные блоки (IMU), энкодеры суставов и датчики силы и крутящего момента измеряют окружающую среду и состояние самого робота.
  • Восприятие: Модели компьютерного зрения преобразуют исходные изображения в информацию об объектах, людях, поверхностях и расстояниях с помощью детекции объектов, сегментации, оценки позы и оценки глубины.
  • Оценка состояния и построение карты: Слияние данных датчиков с помощью фильтров, таких как фильтр Калмана, позволяет оценивать положение и движение робота, а визуальная SLAM строит карту неизвестного пространства и одновременно отслеживает в нём робота.
  • Планирование: Планировщики задач определяют дальнейшие действия, а планировщики движения рассчитывают свободные от столкновений траектории для колёс или манипуляторов.
  • Управление: Контроллеры низкого уровня, от ПИД-регуляторов до модельно-прогнозного управления, приводят двигатели в движение в соответствии с планом, часто сотни раз в секунду.

Промежуточное программное обеспечение, например ROS 2 (Robot Operating System), связывает эти компоненты в отдельные процессы, которые обмениваются сообщениями через именованные топики. Цикл замыкается, поскольку каждое действие меняет то, что датчики видят в следующий момент:

Зрение в контуре управления#

Система восприятия должна выдавать результаты достаточно быстро для планирования на собственном компьютере робота, которым часто служит встраиваемый GPU-модуль, например NVIDIA Jetson. В кратком руководстве Ultralytics по ROS Ultralytics YOLO26 запускается как узел ROS, который подписывается на топик камеры и публикует для других узлов детекции и сегментации с аннотациями, названия обнаруженных классов и расстояния до объектов, полученные по изображениям глубины. Тот же этап перехода от восприятия к действию можно реализовать в нескольких строках Python: здесь мобильный робот останавливается, как только в поле зрения камеры появляется человек.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"

# Sense-act loop: read frames as they arrive and stop as soon as a person is detected
for frame_idx, result in enumerate(model.predict(video, stream=True, classes=[0])):
    if len(result.boxes) > 0:
        print(f"Person detected in frame {frame_idx}: sending stop command")
        break

С помощью stream=True модель выдаёт один результат для каждого кадра по мере чтения видео; тот же подход работает с индексом подключённой камеры, например source=0.

Робототехника на основе обучения#

Обученное восприятие уже стало стандартом, а обучение всё чаще применяется и для планирования и управления:

  • Обучение имитацией: Роботы учатся на демонстрациях с телеуправлением с помощью поведенческого клонирования. Такие методы, как разбиение действий на фрагменты и политики диффузии, сделали этот подход практичным для точных манипуляций, например складывания белья или установки разъёмов.
  • Обучение с подкреплением в симуляции: Политики обучают с помощью обучения с подкреплением на миллионах симулированных испытаний и переносят на реальное оборудование при помощи рандомизации предметной области, которая варьирует физические свойства и внешний вид, чтобы реальный мир стал ещё одним вариантом симуляции. Так обычно обучают контроллеры для быстрой ходьбы и бега четвероногих роботов и гуманоидов.
  • Фундаментальные модели для робототехники: Модели «зрение — язык — действие» преобразуют изображения с камер и инструкции на естественном языке непосредственно в команды для двигателей. Среди примеров — π0 от Physical Intelligence, Gemini Robotics от Google DeepMind и открытые модели Isaac GR00T от NVIDIA для гуманоидов. Данные для обучения объединяются с разных роботов, как в наборе данных Open X-Embodiment, содержащем более миллиона траекторий для 22 типов роботов.

Эти методы часто относят к областям воплощённого ИИ и физического ИИ — исследованиям ИИ-агентов, которые воспринимают мир и воздействуют на него посредством тела.

Робототехника и роботизированная автоматизация процессов#

В названии роботизированной автоматизации процессов (RPA) тоже есть слово «роботизированная», но аппаратное обеспечение ей не требуется: «боты» RPA — это программы, автоматизирующие повторяющиеся цифровые задачи, например копирование данных между бизнес-приложениями или обработку счетов. Робототехника всегда предполагает наличие физической машины, например четвероногого робота Spot от Boston Dynamics, который обходит строительную площадку и снимает изображения для инспекции.

Применение#

  • Производство: Шарнирные манипуляторы сваривают, красят и собирают изделия, а совместные роботы (коботы) работают рядом с людьми, развивая меньшую скорость и усилие. Системы зрения помогают выбирать детали из контейнеров и обнаруживать дефекты.
  • Логистика: Автономные мобильные роботы (AMR) ориентируются на складах с помощью встроенных карт и систем восприятия, прокладывая маршрут в обход препятствий; более ранние автоматизированные управляемые транспортные средства (AGV) следовали по фиксированным путям, обозначенным лентой или проводом.
  • Сельское хозяйство: Роботы пропалывают, прореживают и собирают урожай, используя компьютерное зрение, чтобы различать растения.
  • Здравоохранение: Хирургические системы с телеуправлением преобразуют движения руки хирурга в точные движения инструментов, а мобильные роботы доставляют материалы в больницах.
  • Транспорт: Автономные транспортные средства и дроны — это мобильные роботы, которые выполняют тот же цикл «восприятие — планирование — действие» на более высоких скоростях.

По данным Международной федерации робототехники, в 2024 году в мире установили 542 000 промышленных роботов, 54% из них — в Китае; общее количество работающих роботов достигло примерно 4,66 миллиона.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения