Создавайте приложения для дронов на базе искусственного интеллекта с помощью Ultralytics YOLO11

Покупки в магазине и онлайн-покупки могут показаться похожими, но они основаны на разной логистике. Магазинам необходимо пополнять полки, а онлайн-заказы зависят от доставки до двери. Благодаря технологическим достижениям оба способа совершения покупок преобразуются параллельно.

Например, в сфере доставок происходят серьезные изменения. Дроны с искусственным интеллектом меняют способы доставки товаров к нам домой. Ожидается, что эти интеллектуальные дроны будут выполнять около 808 миллионов доставок в течение следующего десятилетия, превращая небо в новейший маршрут доставки для повседневной торговли.

В дронах для доставки используются искусственный интеллект (ИИ) и компьютерное зрение — подобласть ИИ, которая используется для анализа визуальных данных, для навигации и маневрирования вокруг препятствий. Модели компьютерного зрения, такие как Ultralytics YOLO11, могут помочь дронам обнаруживать и отслеживать объекты в режиме реального времени, позволяя им лучше понимать и взаимодействовать со своим окружением.

‍

Такие компании, как Meituan и DJI, уже интегрируют компьютерное зрение в свои дроны. Фактически, быстрое внедрение дронов в различные отрасли привело к тому, что рынок AI-дронов к 2031 году взлетит до 206,9 миллиардов долларов. 

В этой статье мы подробно рассмотрим, как модели компьютерного зрения, такие как Ultralytics YOLO11, могут использоваться в приложениях на базе дронов, например, в доставке с помощью дронов. Мы рассмотрим пример, демонстрирующий, как эти технологии можно разрабатывать и тестировать перед использованием в реальных сценариях.

Использование Ultralytics YOLO11 на дронах для обнаружения домов

Ключевой частью дронов доставки является их способность обнаруживать дома во время навигации. Чтобы воссоздать эту возможность и понять, как она работает, мы обучим модель компьютерного зрения, которая сможет идентифицировать дома на кадрах, снятых воздушным дроном. Мы кастомизируем обучение YOLO11 для этого, что включает в себя точную настройку предварительно обученной модели YOLO11 для распознавания и обнаружения домов с использованием размеченных примеров.

Для этого нам понадобятся высококачественные видеоданные с дрона. Интересно, что даже без доступа к реальному дрону мы все равно можем генерировать реалистичные кадры с воздуха. Давайте посмотрим, как это сделать.

Создание искусственного кадра с дрона с использованием Google Earth Studio

Google Earth Studio — это веб-инструмент для анимации, который пользователи могут использовать для создания статического и анимированного контента с использованием спутниковых и 3D-изображений Google Earth. Мы можем использовать его для создания реалистичных аэрофотоснимков.

Первый шаг — открыть Google Earth Studio и создать проект, как показано ниже. 

Вам понадобится учетная запись Google для входа.

‍

После входа в систему вы можете выбрать местоположение для своего искусственного видео с дрона. Используя строку поиска в верхнем левом углу страницы, вы можете искать местоположения. Для этого урока мы выберем Канаду. Кроме того, поскольку мы собираемся обучать модель для обнаружения домов, наше видео с дрона должно содержать вид на дома с воздуха.

‍

Далее мы можем установить первый и последний временные кадры для захвата движения искусственного снимка дрона. После того, как вы выбрали начальное местоположение для снимка дрона, установите первый кадр, используя синие ромбики, как показано ниже. 

‍

Далее, мы можем выбрать последний кадр, чтобы определить пункт назначения дрона. Это поможет нам создать эффект движения для видеоматериала с дрона. Для этого переместите полосу (выделена ниже) вправо на определенное время, чтобы создать эффект движения для снимка с дрона. Еще раз используйте синие ромбики, чтобы установить последнюю точку.

‍

Наконец, вы можете сохранить этот проект и визуализировать его, нажав красную кнопку “Render” в правом верхнем углу страницы. Это даст вам окончательный видеовыход со съемки дрона, успешно создав искусственные видеоматериалы с дрона.

‍

Как разметить данные с дронов?

Теперь, когда мы создали искусственные видеоматериалы с дронов, следующим шагом будет разметка или аннотирование домов на них. Нам также нужно будет разделить отдельные кадры видео. 

Для начала установим LabelImg. LabelImg — это инструмент для разметки изображений с открытым исходным кодом. Вы можете установить его прямо из терминала с помощью установщика пакетов pip, выполнив следующую команду: pip install labelImg.

После установки вы можете запустить инструмент, используя команду ‘labelImg’ в вашем терминале или командной строке. Это приведет вас к странице, показанной ниже.

‍

Между тем, мы можем использовать онлайн-конвертер видео в изображения или инструмент под названием FFmpeg для разделения видео на кадры. FFmpeg — это набор библиотек и инструментов для обработки мультимедийного контента, такого как аудио, видео, субтитры и связанные с ними метаданные. 

Вы можете использовать следующую команду терминала, чтобы разделить каждый кадр видеозаписи с дрона:

После того как мы разделили кадры видео, снятого дроном, мы можем начать маркировать объекты (дома) на них. Перейдя в папку с изображениями через инструмент LabelImg, мы можем пометить объекты на каждом изображении. Обязательно сохраните и проверьте каждое помеченное изображение. После аннотирования изображений мы можем перейти к обучению YOLO11 с использованием этих данных.

‍

Рабочий процесс обучения модели YOLO11

Прежде чем мы начнем обучать YOLO11, мы организуем наши изображения и метки. Начните с создания двух папок: одна с именем «train», а другая — «valid». Разделите свои изображения между этими папками. Внутри каждой создайте отдельные подпапки для изображений и соответствующих файлов меток (в текстовом формате), как показано ниже.

‍

Затем мы можем начать обучение модели YOLO11 следующим образом:

• Шаг 1: Установите пакет Ultralytics Python. Это можно сделать, выполнив команду “pip install ultralytics” в вашем терминале. Если у вас возникнут какие-либо проблемы с установкой, ознакомьтесь с нашим руководством по устранению неполадок, где вы найдете советы и рекомендации, которые помогут вам их решить.
  ‍
• Шаг 2: После успешной установки пакета создайте файл с именем ‘data.yaml’. Это файл конфигурации, который имеет решающее значение для обучения модели. В файл data.yaml включите следующую информацию: путь к вашему обучающему набору данных, путь к вашему проверочному набору данных, количество классов (nc) и список названий классов (names), как показано ниже.

‍

• Шаг 3: После настройки файла ‘data.yaml’ вы можете начать обучение своей модели, используя следующий код Python. Этот код загружает предварительно обученную модель YOLO11 и обучает ее в соответствии с вашими конфигурациями.

from ultralytics import YOLO

# Load a YOLO11 model
model = YOLO("yolo11n.pt")  # choose your model, e.g., YOLO11 nano

# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)

• Шаг 4: После завершения обучения вы должны увидеть вывод, аналогичный показанному ниже. Это означает, что вы успешно обучили свою модель YOLO11 для приложений на основе дронов.

‍

Запуск прогнозов с использованием Ultralytics YOLO11 на дронах

Теперь обученная модель YOLO11 может использоваться для прогнозирования посредством процесса, называемого инференсом. Инференс включает в себя использование модели для анализа новых, ранее не виданных данных на основе того, что она узнала во время обучения. В этом случае модель можно использовать для поиска и маркировки определенных объектов, таких как дома, на изображениях или видео, рисуя вокруг них ограничивающие рамки.

Чтобы выполнить прогнозирование, вы можете использовать обученную модель YOLO11 на входном видео, используя следующий код Python. В этом примере мы будем использовать то же искусственное видео с дрона, которое использовалось для обучения, но при желании вы можете использовать любой другой видеофайл.

# Import library
from ultralytics import YOLO

# Load the YOLO model
model = YOLO("best.pt")  # Choose your custom-trained model

# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

После запуска этого кода выходной видеофайл с прогнозами и ограничивающими рамками будет сохранен.

‍

Интеграция Ultralytics YOLO11 на дронах для различных применений

Обнаружение домов для доставки посылок дронами - это всего лишь один из примеров того, как можно применять компьютерное зрение и YOLO11. Вот некоторые другие реальные примеры использования компьютерного зрения, YOLO11 и воздушных дронов:

• Наблюдение и безопасность: Дроны с искусственным интеллектом можно использовать для мониторинга больших территорий в режиме реального времени. Они могут обнаруживать вторжения, отслеживать подозрительную деятельность и повышать безопасность на государственных границах, а также на крупных публичных мероприятиях. 

• Реагирование на стихийные бедствия и поисково-спасательные работы: Оснащенные тепловизорами и детекцией объектов, дроны могут помочь в обнаружении выживших в зонах бедствий. Они также могут оценивать ущерб и доставлять предметы первой необходимости.

• Сельское хозяйство и точное земледелие: Дроны, интегрированные с компьютерным зрением, можно использовать для анализа здоровья посевов и обнаружения болезней, помогая фермерам увеличить урожайность при одновременном снижении затрат. 

• Картографирование и геопространственный анализ: Собирая 3D-карты высокого разрешения, дроны с ИИ могут помогать в городском планировании и землеустройстве. Они обеспечивают более быструю и точную оценку местности, чем традиционные методы. 

Основные выводы

Дроны с ИИ, использующие компьютерное зрение, меняют многие отрасли, от доставки посылок до помощи в чрезвычайных ситуациях и сельском хозяйстве. В этом руководстве мы рассмотрели создание искусственного видео с дрона, разметку объектов в нем, обучение YOLO11 и использование его для обнаружения домов.

Применение обнаружения объектов к видеоматериалам с дронов делает эти дроны умнее, позволяя им распознавать и отслеживать объекты автоматически в режиме реального времени. По мере совершенствования технологий дроны с искусственным интеллектом, вероятно, будут играть еще большую роль в ускорении доставки, повышении безопасности и помощи в ликвидации последствий стихийных бедствий.

Присоединяйтесь к нашему сообществу и изучите наш репозиторий на GitHub, чтобы узнать больше о Vision AI, и ознакомьтесь с нашими вариантами лицензирования, чтобы дать старт своим проектам в области компьютерного зрения. Интересуетесь инновациями, такими как ИИ в производстве или компьютерное зрение в автомобильной промышленности? Посетите страницы наших решений, чтобы узнать больше.