Создавай приложения для дронов с поддержкой ИИ на базе Ultralytics YOLO11

Покупки в обычном магазине и онлайн-покупки могут казаться похожими, но они полагаются на разные логистические схемы. Магазинам необходимо пополнение полок, в то время как онлайн-заказы зависят от доставки до двери. Благодаря технологическому прогрессу оба процесса меняются параллельно.

Например, в сфере доставки происходят значительные сдвиги. Дроны с поддержкой ИИ меняют то, как товары попадают к нам домой. Ожидается, что за следующее десятилетие эти «умные» дроны обработают около 808 миллионов доставок, превращая небо в новейший маршрут доставки для повседневной торговли.

Дроны-доставщики используют искусственный интеллект (ИИ) и компьютерное зрение — подраздел ИИ, который применяется для анализа визуальных данных, чтобы ориентироваться и маневрировать в обход препятствий. Модели компьютерного зрения, такие как Ultralytics YOLO11, могут помочь дронам обнаруживать и отслеживать объекты в режиме реального времени, позволяя им лучше понимать окружающую среду и взаимодействовать с ней.

Рис 1. Дрон-доставщик везет посылку к месту назначения.

Такие компании, как Meituan и DJI, уже внедряют компьютерное зрение в свои дроны. Фактически, быстрое внедрение дронов в различных отраслях привело к тому, что рынок ИИ-дронов к 2031 году вырастет до 206,9 миллиардов долларов.

В этой статье мы подробнее рассмотрим, как модели компьютерного зрения, такие как Ultralytics YOLO11, могут использоваться в приложениях для дронов, например, для доставки. Мы разберем пример, который покажет, как эти технологии можно разрабатывать и тестировать перед использованием в реальных сценариях.

Link to this sectionИспользование Ultralytics YOLO11 на дронах для обнаружения домов#

Ключевая часть работы дронов-доставщиков — это способность обнаруживать дома во время навигации. Чтобы воссоздать эту возможность и понять, как она работает, мы обучим модель компьютерного зрения, которая сможет идентифицировать дома на кадрах, снятых с воздуха. Мы выполним пользовательское обучение YOLO11 для этой задачи, что включает дообучение предобученной модели YOLO11 для распознавания и обнаружения домов с использованием размеченных примеров.

Для этого нам понадобятся качественные видеоданные с дрона. Интересно, что даже без доступа к настоящему дрону мы можем создать реалистичные кадры с воздуха. Давай посмотрим, как это сделать.

Link to this sectionСоздание искусственной съемки с дрона с помощью Google Earth Studio#

Google Earth Studio — это веб-инструмент для анимации, который пользователи могут использовать для создания статичного и анимированного контента с помощью спутниковых и 3D-изображений Google Earth. Мы можем использовать его для создания реалистичных кадров с воздуха.

Первый шаг — открыть Google Earth Studio и создать проект, как показано ниже.

Для входа тебе понадобится аккаунт Google.

Рис 2. Создание проекта в Google Earth Studio.

После входа в систему ты можешь выбрать местоположение для своего искусственного видео с дрона. Используя строку поиска в левом верхнем углу страницы, можно искать локации. Для этого урока мы выберем Канаду. Также, поскольку мы собираемся обучить модель обнаруживать дома, наше видео с дрона должно содержать вид домов с воздуха.

Рис 3. Выбор местоположения в Google Earth Studio.

Далее мы можем установить первый и последний кадры, чтобы запечатлеть движение искусственной съемки дрона. Как только ты выбрал начальную точку для полета дрона, установи первый кадр с помощью синих ромбов, как показано ниже.

Рис 4. Установка первого кадра с помощью синих ромбов.

Затем мы можем выбрать последний кадр, чтобы определить конечную точку полета дрона. Это поможет нам создать эффект движения для кадров с дрона. Для этого сдвинь ползунок (выделен ниже) вправо до нужного времени, чтобы создать эффект движения. Снова используй синие ромбы для установки последней точки.

Рис 5. Установка последнего кадра путем перемещения ползунка.

Наконец, ты можешь сохранить этот проект и отрендерить его, нажав красную кнопку «Render» в правом верхнем углу страницы. Это даст тебе финальное видео съемки, успешно создав искусственные кадры с дрона.

Рис 6. Рендеринг финального видео.

Link to this sectionКак разметить данные с дрона?#

Теперь, когда мы создали искусственные кадры, следующий шаг — разметить или аннотировать дома на них. Нам также нужно будет разделить видео на отдельные кадры.

Для начала мы установим LabelImg. LabelImg — это инструмент для разметки изображений с открытым исходным кодом. Ты можешь установить его прямо из терминала, используя пакетный менеджер pip, выполнив следующую команду: «pip install labelImg».

После установки ты можешь запустить инструмент командой ‘labelImg’ в своем терминале или командной строке. Ты попадешь на страницу, показанную ниже.

Рис 7. Интерфейс инструмента LabelImg.

Тем временем мы можем использовать онлайн-конвертер видео в изображения или инструмент под названием FFmpeg, чтобы разбить видео на кадры. FFmpeg — это коллекция библиотек и инструментов для обработки мультимедийного контента, такого как аудио, видео, субтитры и связанные метаданные.

Ты можешь использовать следующую команду в терминале, чтобы разделить видео съемки с дрона на каждый отдельный кадр:

ffmpeg -i input_video.mp4 frame_%04d.png

Как только мы разделили кадры, можно приступать к разметке объектов (домов). Перейдя к папке с изображениями через инструмент LabelImg, мы можем разметить объекты на каждом изображении. Не забудь сохранять и проверять каждое размеченное изображение. После аннотирования изображений можно переходить к обучению YOLO11 с использованием этих данных.

Рис 8. Пример сохранения аннотированных изображений.

Link to this sectionРабочий процесс обучения модели YOLO11#

Перед тем как начать обучение YOLO11, мы упорядочим наши изображения и метки. Начни с создания двух папок: одной с названием «train» и другой «valid». Распредели изображения между этими папками. Внутри каждой создай отдельные подпапки для изображений и соответствующих им файлов меток (в текстовом формате), как показано ниже.

Рис 9. Пример создания папок для изображений и меток.

Затем мы можем начать обучение модели YOLO11 следующим образом:

• Шаг 1: Установи пакет Ultralytics для Python. Ты можешь сделать это, выполнив команду «pip install ultralytics» в своем терминале. Если возникнут проблемы с установкой, ознакомься с нашим руководством по устранению неполадок, чтобы найти советы по их решению.
• Шаг 2: После успешной установки пакета создай файл с названием ‘data.yaml’. Это файл конфигурации, который крайне важен для обучения модели. В файле data.yaml укажи следующую информацию: путь к набору данных для обучения, путь к набору данных для валидации, количество классов (nc) и список имен классов (names), как показано ниже.

Рис 10. Пример файла data.yaml.

• Шаг 3: После того как файл ‘data.yaml’ настроен, ты можешь начать обучение своей модели, используя следующий код на Python. Этот код загружает предобученную модель YOLO11 и обучает ее в соответствии с твоими конфигурациями.

from ultralytics import YOLO

# Load a YOLO11 model
model = YOLO("yolo11n.pt")  # choose your model, e.g., YOLO11 nano

# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)

• Шаг 4: По завершении обучения ты увидишь вывод, похожий на показанный ниже. Это означает, что ты успешно обучил модель YOLO11 для приложений с использованием дронов.

Рис 11. Вывод после завершения обучения модели.

Link to this sectionЗапуск предсказаний с использованием Ultralytics YOLO11 на дронах#

Обученная модель YOLO11 теперь может использоваться для выполнения предсказаний с помощью процесса, называемого инференсом. Инференс включает в себя использование модели для анализа новых, не виденных ранее данных на основе того, что она узнала во время обучения. В данном случае модель можно использовать для обнаружения и разметки конкретных объектов, таких как дома, на изображениях или видео, рисуя вокруг них ограничивающие рамки (bounding boxes).

Чтобы запустить предсказание, ты можешь использовать обученную модель YOLO11 на входном видео с помощью следующего кода на Python. В этом примере мы используем то же искусственное видео с дрона, которое применялось для обучения, но ты можешь использовать любой другой видеофайл, если хочешь.

# Import library
from ultralytics import YOLO

# Load the YOLO model
model = YOLO("best.pt")  # Choose your custom-trained model

# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

После запуска этого кода будет сохранен выходной видеофайл с предсказаниями и ограничивающими рамками.

Рис 12. Кадр из выходного видеофайла.

Link to this sectionИнтеграция Ultralytics YOLO11 на дронах для различных приложений#

Обнаружение домов для доставки посылок дронами — это лишь один пример того, как можно применять компьютерное зрение и YOLO11. Вот некоторые другие примеры использования компьютерного зрения, YOLO11 и дронов в реальном мире:

• Наблюдение и безопасность: ИИ-дроны могут использоваться для мониторинга больших территорий в режиме реального времени. Они могут обнаруживать вторжения, отслеживать подозрительную активность и повышать уровень безопасности на государственных границах, а также на крупных общественных мероприятиях.

• Ликвидация последствий стихийных бедствий и поисково-спасательные операции: Оснащенные тепловизорами и системой обнаружения объектов, дроны могут помочь находить выживших в зонах бедствия. Они также могут оценивать ущерб и доставлять экстренные грузы.

• Сельское хозяйство и точное земледелие: Дроны с интегрированным компьютерным зрением могут использоваться для анализа состояния посевов и обнаружения болезней, помогая фермерам повышать урожайность при одновременном снижении затрат.

• Картографирование и геопространственный анализ: Собирая 3D-карты с высоким разрешением, ИИ-дроны могут помогать в городском планировании и съемке земельных участков. Они обеспечивают более быструю и точную оценку местности по сравнению с традиционными методами.

Link to this sectionОсновные выводы#

ИИ-дроны, работающие на базе компьютерного зрения, меняют многие отрасли — от доставки посылок до помощи в экстренных ситуациях и фермерства. В этом руководстве мы прошли путь от создания искусственного видео с дрона до разметки объектов, обучения YOLO11 и его использования для обнаружения домов.

Применение обнаружения объектов к видеосъемке с дронов делает их умнее, позволяя автоматически распознавать и отслеживать объекты в режиме реального времени. По мере развития технологий ИИ-дроны, вероятно, будут играть еще большую роль в ускорении доставки, повышении безопасности и помощи при ликвидации последствий бедствий.

Присоединяйся к нашему сообществу и изучай наш репозиторий на GitHub, чтобы узнать больше о компьютерном зрении, а также ознакомься с нашими вариантами лицензирования, чтобы начать свои проекты в области компьютерного зрения. Тебя интересуют инновации, такие как ИИ в производстве или компьютерное зрение в автомобильной отрасли? Посети страницы наших решений, чтобы узнать больше.