Создавай приложения для дронов с поддержкой ИИ на базе Ultralytics YOLO11

Покупки в обычном магазине и онлайн-покупки могут казаться похожими, но они полагаются на разные логистические схемы. Магазинам необходимо пополнение полок, в то время как онлайн-заказы зависят от доставки до двери. Благодаря технологическому прогрессу оба процесса меняются параллельно.

Например, в сфере доставки происходят серьезные изменения. Дроны на базе искусственного интеллекта меняют подход к доставке товаров на дом. Ожидается, что в следующее десятилетие эти умные дроны выполнят около 808 million deliveries, превратив небо в новый маршрут доставки для повседневной торговли.

Дроны для доставки используют искусственный интеллект (ИИ) и computer vision, подраздел ИИ, который применяется для анализа визуальных данных, чтобы ориентироваться в пространстве и обходить препятствия. Модели компьютерного зрения, такие как Ultralytics YOLO11, помогают дронам обнаруживать объекты и отслеживать их в реальном времени, позволяя лучше понимать окружающую обстановку и взаимодействовать с ней.

Fig 1. Дрон для доставки доставляет посылку в пункт назначения.

Такие компании, как Meituan и DJI, уже внедряют компьютерное зрение в свои дроны. Фактически, стремительное распространение дронов в различных отраслях привело к тому, что AI drone market к 2031 году должен вырасти до 206,9 млрд долларов.

В этой статье мы подробнее рассмотрим, как модели компьютерного зрения, такие как Ultralytics YOLO11, могут использоваться в приложениях для дронов, например, для доставки. Мы разберем пример, который покажет, как эти технологии можно разрабатывать и тестировать перед использованием в реальных сценариях.

Использование Ultralytics YOLO11 на дронах для обнаружения домов#

Ключевая часть дронов-доставщиков — это их способность обнаруживать дома во время навигации. Чтобы воссоздать эту способность и понять, как она работает, мы обучим модель компьютерного зрения, которая сможет распознавать дома на кадрах, снятых с воздуха с помощью дрона. Для этого мы custom-train Ultralytics YOLO11, что предполагает дообучение предварительно обученной модели YOLO11 для распознавания и обнаружения домов с использованием размеченных примеров.

Для этого нам понадобятся качественные видеоданные с дрона. Интересно, что даже без доступа к настоящему дрону мы можем создать реалистичные кадры с воздуха. Давай посмотрим, как это сделать.

Создание искусственной съемки с дрона с помощью Google Earth Studio#

Google Earth Studio — это веб-инструмент для анимации, который пользователи могут использовать для создания статичного и анимированного контента с помощью спутниковых и 3D-изображений Google Earth. Мы можем использовать его для создания реалистичных кадров с воздуха.

Первый шаг — открыть Google Earth Studio и создать проект, как показано ниже.

Для входа тебе понадобится аккаунт Google.

Рис 2. Создание проекта в Google Earth Studio.

После входа в систему ты можешь выбрать местоположение для своего искусственного видео с дрона. Используя строку поиска в левом верхнем углу страницы, можно искать локации. Для этого урока мы выберем Канаду. Также, поскольку мы собираемся обучить модель обнаруживать дома, наше видео с дрона должно содержать вид домов с воздуха.

Рис 3. Выбор местоположения в Google Earth Studio.

Далее мы можем установить первый и последний кадры, чтобы запечатлеть движение искусственной съемки дрона. Как только ты выбрал начальную точку для полета дрона, установи первый кадр с помощью синих ромбов, как показано ниже.

Рис 4. Установка первого кадра с помощью синих ромбов.

Затем мы можем выбрать последний кадр, чтобы определить конечную точку полета дрона. Это поможет нам создать эффект движения для кадров с дрона. Для этого сдвинь ползунок (выделен ниже) вправо до нужного времени, чтобы создать эффект движения. Снова используй синие ромбы для установки последней точки.

Рис 5. Установка последнего кадра путем перемещения ползунка.

Наконец, ты можешь сохранить этот проект и отрендерить его, нажав красную кнопку «Render» в правом верхнем углу страницы. Это даст тебе финальное видео съемки, успешно создав искусственные кадры с дрона.

Рис 6. Рендеринг финального видео.

Как разметить данные с дрона?#

Теперь, когда мы создали искусственное видео с дрона, следующий шаг — label or annotate на нем дома. Нам также понадобится разделить видео на отдельные кадры.

Для начала мы установим LabelImg. LabelImg — это инструмент для разметки изображений с открытым исходным кодом. Ты можешь установить его прямо из терминала, используя пакетный менеджер pip, выполнив следующую команду: «pip install labelImg».

После установки ты можешь запустить инструмент командой ‘labelImg’ в своем терминале или командной строке. Ты попадешь на страницу, показанную ниже.

Рис 7. Интерфейс инструмента LabelImg.

Тем временем мы можем использовать либо онлайн-конвертер видео в изображения, либо инструмент под названием FFmpeg, чтобы разбить видео на кадры. FFmpeg — это набор библиотек и инструментов для обработки мультимедийного контента, такого как аудио, видео, субтитры и сопутствующие метаданные.

Ты можешь использовать следующую команду в терминале, чтобы разделить видео съемки с дрона на каждый отдельный кадр:

ffmpeg -i input_video.mp4 frame_%04d.png

Как только мы разделим кадры видео с дрона, мы сможем начать разметку объектов (домов) на них. Перейдя в папку с изображениями с помощью инструмента LabelImg, мы сможем разметить объекты на каждом изображении. Обязательно сохраняй и проверяй каждое размеченное изображение. После аннотирования изображений мы можем перейти к обучению модели Ultralytics YOLO11 с использованием этих данных.

Рис 8. Пример сохранения аннотированных изображений.

Рабочий процесс обучения модели Ultralytics YOLO11#

Прежде чем мы начнем обучение Ultralytics YOLO11, мы организуем наши изображения и разметку. Начни с создания двух папок: одна с именем "train", а другая "valid". Раздели свои изображения между этими папками. Внутри каждой создай отдельные подпапки для изображений и соответствующих им файлов разметки (в текстовом формате), как показано ниже.

Рис 9. Пример создания папок для изображений и меток.

Затем мы можем начать обучение модели Ultralytics YOLO11 следующим образом:

• Шаг 1: Установи Ultralytics Python package. Это можно сделать, выполнив команду “pip install ultralytics” в терминале. Если у тебя возникнут проблемы с установкой, загляни в наше troubleshooting guide за советами и рекомендациями, которые помогут их решить.
• Шаг 2: После успешной установки пакета создай файл с названием ‘data.yaml’. Это файл конфигурации, который крайне важен для обучения модели. В файле data.yaml укажи следующую информацию: путь к набору данных для обучения, путь к набору данных для валидации, количество классов (nc) и список имен классов (names), как показано ниже.

Рис 10. Пример файла data.yaml.

• Step 3: После настройки файла ‘data.yaml’ ты можешь начать обучение своей модели с помощью следующего кода на Python. Этот код загружает предобученную модель Ultralytics YOLO11 и обучает ее в соответствии с твоими настройками.

from ultralytics import YOLO

# Load a Ultralytics YOLO11 model
model = YOLO("yolo11n.pt")  # choose your model, e.g., YOLO11 nano

# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)

• Step 4: По завершении обучения ты должен увидеть вывод, аналогичный показанному ниже. Это означает, что ты успешно обучил свою модель Ultralytics YOLO11 для приложений на базе дронов.

Рис 11. Вывод после завершения обучения модели.

Запуск предсказаний с использованием Ultralytics YOLO11 на дронах#

Обученная модель Ultralytics YOLO11 теперь может использоваться для создания предсказаний посредством процесса, называемого инференсом. Инференс предполагает использование модели для анализа новых, ранее не виденных данных на основе того, чему она научилась во время обучения. В этом случае модель можно использовать для поиска и разметки конкретных объектов, таких как дома, на изображениях или видео путем рисования ограничивающих рамок вокруг них.

Чтобы запустить предсказание, ты можешь использовать обученную модель Ultralytics YOLO11 на входном видео с помощью следующего кода Python. В этом примере мы будем использовать то же искусственное видео с дрона, которое применялось для обучения, но если хочешь, ты можешь использовать любой другой видеофайл.

# Import library
from ultralytics import YOLO

# Load the YOLO model
model = YOLO("best.pt")  # Choose your custom-trained model

# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

После запуска этого кода будет сохранен выходной видеофайл с предсказаниями и ограничивающими рамками.

Рис 12. Кадр из выходного видеофайла.

Интеграция Ultralytics YOLO11 на дронах для различных приложений#

Обнаружение домов для посылок, доставляемых дронами, — это лишь один из примеров того, как можно применять компьютерное зрение и Ultralytics YOLO11. Вот несколько других реальных вариантов использования компьютерного зрения, YOLO11 и воздушных дронов:

• Наблюдение и безопасность: AI drones могут использоваться для мониторинга больших территорий в реальном времени. Они могут обнаруживать вторжения, отслеживать подозрительную активность и повышать уровень безопасности на государственных границах, а также на крупных общественных мероприятиях.

• Ликвидация последствий стихийных бедствий и поисково-спасательные операции: Оснащенные тепловизорами и системой обнаружения объектов, дроны могут помочь находить выживших в зонах бедствия. Они также могут оценивать ущерб и доставлять экстренные грузы.

• Сельское хозяйство и точное земледелие: Дроны с интегрированным компьютерным зрением могут использоваться для анализа состояния посевов и обнаружения болезней, помогая фермерам повышать урожайность при одновременном снижении затрат.

• Картографирование и геопространственный анализ: Собирая 3D-карты с высоким разрешением, ИИ-дроны могут помогать в городском планировании и съемке земельных участков. Они обеспечивают более быструю и точную оценку местности по сравнению с традиционными методами.

Основные выводы#

Дроны с ИИ на базе компьютерного зрения меняют множество отраслей: от доставки посылок до помощи в чрезвычайных ситуациях и сельского хозяйства. В этом руководстве мы прошли путь создания искусственного видео с дрона, разметки объектов на нем, обучения Ultralytics YOLO11 и использования ее для обнаружения домов.

Применение обнаружения объектов к видеосъемке с дронов делает их умнее, позволяя автоматически распознавать и отслеживать объекты в режиме реального времени. По мере развития технологий ИИ-дроны, вероятно, будут играть еще большую роль в ускорении доставки, повышении безопасности и помощи при ликвидации последствий бедствий.

Присоединяйся к our community и изучай наш GitHub repository, чтобы узнать больше о визуальном ИИ, а также ознакомься с our licensing options, чтобы запустить свои проекты в области компьютерного зрения. Интересуешься такими инновациями, как AI in manufacturing или computer vision in the automotive индустрия? Посети наши страницы решений, чтобы узнать больше.