Создавай приложения для дронов на базе AI с использованием Ultralytics YOLO11

Покупки в магазине и онлайн-покупки могут казаться похожими, но они зависят от разной логистики. В магазинах нужно пополнять запасы на полках, а онлайн-заказы зависят от доставки до двери. Благодаря технологическим достижениям оба формата покупок параллельно меняются.

Например, в сфере доставки происходят значительные изменения. Дроны на базе ИИ меняют способ доставки товаров к нам домой. Ожидается, что в течение следующего десятилетия эти умные дроны будут выполнять около 808 миллионов доставок, превращая небо в новый маршрут доставки для повседневной торговли.

Дроны доставки используют искусственный интеллект (AI) и компьютерное зрение — подраздел ИИ, предназначенный для анализа визуальных данных, — чтобы ориентироваться и маневрировать вокруг препятствий. Модели компьютерного зрения, такие как Ultralytics YOLO11, помогают дронам обнаруживать и отслеживать объекты в реальном времени, благодаря чему они лучше понимают окружающую среду и взаимодействуют с ней.

Рис. 1. Дрон доставки везёт посылку к месту назначения.

Такие компании, как Meituan и DJI, уже интегрируют компьютерное зрение в свои дроны. Фактически, быстрое внедрение дронов в различных отраслях подготовило рынок дронов на базе ИИ к стремительному росту — до 206,9 миллиарда долларов к 2031 году.

В этой статье мы подробнее рассмотрим, как модели компьютерного зрения, такие как Ultralytics YOLO11, можно применять в приложениях на базе дронов, например для доставки. Мы разберём пример, который покажет, как разрабатывать и тестировать эти технологии до их использования в реальных условиях.

Использование Ultralytics YOLO11 на дронах для обнаружения домов#

Важная функция дронов доставки — способность обнаруживать дома во время навигации. Чтобы воспроизвести эту возможность и понять принцип её работы, мы обучим модель компьютерного зрения, способную обнаруживать дома на видео, снятом с воздушного дрона. Для этого мы выполним дообучение Ultralytics YOLO11: настроим предварительно обученную модель YOLO11 на распознавание и обнаружение домов с помощью размеченных примеров.

Для этого нам понадобятся качественные видеоданные с дрона. Интересно, что даже без доступа к настоящему дрону мы можем создавать реалистичные аэросъёмочные материалы. Давайте посмотрим, как это сделать.

Создание искусственной съёмки с дрона с помощью Google Earth Studio#

Google Earth Studio — это веб-инструмент для анимации, с помощью которого пользователи могут создавать статичные и анимированные материалы на основе спутниковых и 3D-изображений Google Earth. Мы можем использовать его для создания реалистичных аэросъёмочных материалов.

Сначала открой Google Earth Studio и создай проект, как показано ниже.

Для входа тебе понадобится аккаунт Google.

Рис. 2. Создание проекта в Google Earth Studio.

После входа ты можешь выбрать место для искусственного видео с дрона. С помощью строки поиска в левом верхнем углу страницы можно искать нужные места. В этом руководстве мы выберем Канаду. Кроме того, поскольку мы собираемся обучить модель обнаруживать дома, на видео с дрона должен быть вид домов с воздуха.

Рис. 3. Выбор места с помощью Google Earth Studio.

Затем можно задать первый и последний кадры, чтобы зафиксировать движение искусственной съёмки с дрона. Выбрав начальную точку съёмки, задай первый кадр с помощью синих ромбов, как показано ниже.

Рис. 4. Настройка первого кадра с помощью синих ромбов.

Затем можно выбрать последний кадр, чтобы определить пункт назначения дрона. Это поможет создать эффект движения на видео с дрона. Для этого перемести ползунок (выделенный ниже) вправо до нужного момента времени. Так ты создашь эффект движения для съёмки с дрона. Снова используй синие ромбы, чтобы задать конечную точку.

Рис. 5. Настройка последнего кадра перемещением ползунка.

Наконец, сохрани проект и отрендери его, нажав красную кнопку «Render» в правом верхнем углу страницы. В результате ты получишь готовое видео съёмки с дрона и успешно создашь искусственный видеоматериал с дрона.

Рис. 6. Рендеринг итогового видео.

Как разметить данные с дрона?#

Теперь, когда мы создали искусственный видеоматериал с дрона, следующим шагом будет разметка или аннотирование домов на нём. Также нужно будет отделить отдельные кадры видео.

Для начала установим LabelImg. LabelImg — это инструмент с открытым исходным кодом для разметки изображений. Его можно установить непосредственно из терминала с помощью установщика пакетов pip, выполнив следующую команду: «pip install labelImg».

После установки запусти инструмент с помощью команды ‘labelImg’ в терминале или командной строке. Откроется страница, показанная ниже.

Рис. 7. Интерфейс инструмента LabelImg.

Тем временем можно воспользоваться онлайн-конвертером видео в изображения или инструментом FFmpeg, чтобы разделить видео на кадры. FFmpeg — это набор библиотек и инструментов для обработки мультимедийного содержимого, например аудио, видео, субтитров и связанных метаданных.

Для разделения каждого кадра видео с дрона можно использовать следующую команду в терминале:

ffmpeg -i input_video.mp4 frame_%04d.png

После разделения кадров видео с дрона можно начать размечать находящиеся на них объекты (дома). Перейдя к папке с изображениями через инструмент LabelImg, можно разметить объекты на каждом изображении. Обязательно сохраняй и проверяй каждое размеченное изображение. После аннотирования изображений можно перейти к обучению Ultralytics YOLO11 на этих данных.

Рис. 8. Пример сохранения аннотированных изображений.

Процесс обучения модели Ultralytics YOLO11#

Перед началом обучения Ultralytics YOLO11 организуем изображения и метки. Создай две папки: одну с именем "train", а другую — "valid". Распредели изображения между этими папками. В каждой из них создай отдельные вложенные папки для изображений и соответствующих файлов меток (в текстовом формате), как показано ниже.

Рис. 9. Пример создания папок для изображений и меток.

Затем можно начать обучение модели Ultralytics YOLO11 следующим образом:

• Шаг 1: Установи пакет Ultralytics для Python. Для этого выполни в терминале команду «pip install ultralytics». Если возникнут проблемы с установкой, обратись к нашему руководству по устранению неполадок, где приведены советы и рекомендации по их решению.
• Шаг 2: После успешной установки пакета создай файл с именем ‘data.yaml’. Это конфигурационный файл, необходимый для обучения модели. В файл data.yaml добавь следующую информацию: путь к обучающему набору данных, путь к валидационному набору данных, количество классов (nc) и список имён классов (names), как показано ниже.

Рис. 10. Пример файла data.yaml.

• Шаг 3: После настройки файла ‘data.yaml’ можно начать обучение модели с помощью следующего кода Python. Этот код загружает предварительно обученную модель Ultralytics YOLO11 и обучает её в соответствии с заданными параметрами.

from ultralytics import YOLO

# Load a YOLO11 model
model = YOLO("yolo11n.pt")  # choose your model, e.g., YOLO11 nano

# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)

• Шаг 4: После завершения обучения ты должен увидеть результат, похожий на показанный ниже. Это означает, что ты успешно обучил модель Ultralytics YOLO11 для приложений на базе дронов.

Рис. 11. Результат после обучения модели.

Запуск предсказаний с помощью Ultralytics YOLO11 на дронах#

Теперь обученную модель Ultralytics YOLO11 можно использовать для предсказаний с помощью процесса, называемого инференсом. Инференс подразумевает применение модели для анализа новых, ранее не встречавшихся данных на основе того, чему она научилась во время обучения. В данном случае модель можно использовать для поиска и маркировки определённых объектов, например домов, на изображениях или видео с помощью ограничивающих рамок.

Чтобы запустить предсказание, используй обученную модель Ultralytics YOLO11 на входном видео с помощью следующего кода Python. В этом примере мы используем то же искусственное видео с дрона, которое применялось для обучения, но при желании можно выбрать любой другой видеофайл.

# Import library
from ultralytics import YOLO

# Load the YOLO model
model = YOLO("best.pt")  # Choose your custom-trained model

# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

После выполнения этого кода выходной видеофайл с предсказаниями и ограничивающими рамками будет сохранён.

Рис. 12. Кадр из выходного видеофайла.

Интеграция Ultralytics YOLO11 в дроны для различных приложений#

Обнаружение домов для доставки посылок дронами — лишь один из примеров применения компьютерного зрения и Ultralytics YOLO11. Вот несколько других вариантов использования компьютерного зрения, YOLO11 и воздушных дронов в реальных условиях:

• Наблюдение и безопасность: Дроны на базе ИИ можно использовать для мониторинга больших территорий в реальном времени. Они могут обнаруживать вторжения, отслеживать подозрительную активность и повышать безопасность на национальных границах и крупных общественных мероприятиях.

• Реагирование на чрезвычайные ситуации, поиск и спасение: Дроны, оснащённые тепловизионными камерами и средствами обнаружения объектов, помогают находить выживших в зонах бедствий. Они также могут оценивать ущерб и доставлять экстренные припасы.

• Сельское хозяйство и точное земледелие: Дроны, интегрированные с компьютерным зрением, можно использовать для анализа состояния посевов и обнаружения заболеваний, помогая фермерам повышать урожайность и снижать затраты.

• Картографирование и геопространственный анализ: Собирая высокодетализированные 3D-карты, дроны на базе ИИ помогают в городском планировании и кадастровой съёмке. Они обеспечивают более быструю и точную оценку рельефа по сравнению с традиционными методами.

Основные выводы#

Дроны на базе ИИ и компьютерного зрения меняют многие отрасли: от доставки посылок до помощи в чрезвычайных ситуациях и сельском хозяйстве. В этом руководстве мы рассмотрели создание искусственного видео с дрона, разметку объектов на нём, обучение Ultralytics YOLO11 и его использование для обнаружения домов.

Применение обнаружения объектов к материалам, снятым с дрона, делает дроны умнее, позволяя им автоматически распознавать и отслеживать объекты в реальном времени. По мере развития технологий дроны на базе ИИ, вероятно, будут играть ещё большую роль в ускорении доставки, повышении безопасности и реагировании на чрезвычайные ситуации.

Присоединяйся к нашему сообществу и изучай наш репозиторий на GitHub, чтобы больше узнать о визуальном ИИ, а также ознакомься с вариантами лицензирования, чтобы начать работу над своими проектами в области компьютерного зрения. Интересуешься такими инновациями, как ИИ в производстве или компьютерное зрение в автомобильной отрасли? Посети страницы наших решений, чтобы узнать больше.