Construis des applications de drones alimentées par l'IA avec Ultralytics YOLO11

Utilisation de Ultralytics YOLO11 sur des drones pour détecter les maisons.

Un élément clé des drones de livraison est leur capacité à détecter les maisons pendant qu'ils naviguent. Pour recréer cette capacité et comprendre comment elle fonctionne, nous allons entraîner un modèle de vision par ordinateur capable d'identifier les maisons dans les images capturées par un drone aérien. Pour ce faire, nous entraînerons YOLO11 sur mesure, ce qui implique d'affiner un modèle YOLO11 pré-entraîné pour reconnaître et détecter les maisons à l'aide d'exemples étiquetés.

Pour ce faire, nous aurons besoin de données vidéo de haute qualité provenant d'un drone. Il est intéressant de noter que même sans avoir accès à un vrai drone, nous pouvons générer des séquences aériennes réalistes. Voyons comment procéder.

Création d'une prise de vue artificielle par drone à l'aide de Google Earth Studio

Google Earth Studio est un outil d'animation en ligne qui peut être utilisé par les utilisateurs pour créer du contenu fixe et animé en utilisant l'imagerie satellite et 3D de Google Earth. Nous pouvons l'utiliser pour créer des séquences aériennes réalistes.

La première étape consiste à ouvrir Google Earth Studio et à créer un projet, comme indiqué ci-dessous. 

Tu auras besoin d'un compte Google pour te connecter.

‍

Une fois que tu t'es connecté, tu peux choisir un lieu pour ta vidéo de drone artificiel. À l'aide de la barre de recherche située dans le coin supérieur gauche de la page, tu peux rechercher des lieux. Pour ce tutoriel, nous allons choisir le Canada. De plus, comme nous allons entraîner un modèle à détecter les maisons, notre vidéo de drone doit avoir une vue aérienne des maisons.

‍

Ensuite, nous pouvons définir le premier et le dernier cadre temporel pour capturer le mouvement de la prise de vue artificielle du drone. Une fois que tu as choisi l'emplacement de départ pour la prise de vue du drone, définis la première image à l'aide des losanges bleus, comme indiqué ci-dessous. 

‍

Ensuite, nous pouvons choisir la dernière image pour déterminer la destination du drone. Cela nous aidera à créer un effet de mouvement pour la séquence du drone. Pour ce faire, fais glisser la barre (surlignée ci-dessous) vers la droite jusqu'à un moment précis afin de créer l'effet de mouvement pour la prise de vue du drone. Une fois de plus, utilise les losanges bleus pour définir le dernier point.

‍

Enfin, tu peux enregistrer ce projet et en faire le rendu en cliquant sur le bouton rouge "Render" en haut à droite de la page. Tu obtiendras ainsi la sortie vidéo finale de la prise de vue du drone, ce qui te permettra de créer avec succès des séquences vidéo artificielles de drone.

‍

Comment étiqueter les données du drone ?

Maintenant que nous avons créé des séquences vidéo artificielles de drone, la prochaine étape consiste à étiqueter ou à annoter les maisons qui s'y trouvent. Nous devrons également séparer les différentes images de la vidéo. 

Pour commencer, nous allons installer LabelImg. LabelImg est un outil d'étiquetage d'images open-source. Tu peux l'installer directement depuis le terminal à l'aide de l'installateur de paquets pip en exécutant la commande suivante : "pip install labelImg".

Après l'installation, tu peux lancer l'outil en utilisant la commande 'labelImg' dans ton terminal ou à l'invite de commande. Cela t'amènera à la page illustrée ci-dessous.

‍

En attendant, nous pouvons utiliser un convertisseur vidéo-image en ligne ou un outil appelé FFmpeg pour diviser la vidéo en images. FFmpeg est une collection de bibliothèques et d'outils permettant de traiter des contenus multimédias tels que l'audio, la vidéo, les sous-titres et les métadonnées associées. 

Tu peux utiliser la commande de terminal suivante pour séparer chaque image de la vidéo de la séquence de drone :

ffmpeg -i input_video.mp4 -vf fps=1 frame_%04d.jpg

Une fois que nous avons séparé les images des séquences de drone, nous pouvons commencer à étiqueter les objets (maisons) qui s'y trouvent. En naviguant vers le dossier d'images à l'aide de l'outil LabelImg, nous pouvons étiqueter les objets dans chaque image. Veille à sauvegarder et à vérifier chaque image étiquetée. Après avoir annoté les images, nous pouvons maintenant passer à l'entraînement de YOLO11 à l'aide de ces données.

‍

Flux de travail de l'entraînement au modèle YOLO11

Avant de commencer à former YOLO11, nous allons organiser nos images et nos étiquettes. Commence par créer deux dossiers : l'un nommé "train" et l'autre "valid". Répartis tes images entre ces dossiers. À l'intérieur de chacun d'eux, crée des sous-dossiers distincts pour les images et leurs fichiers d'étiquettes correspondants (format texte), comme indiqué ci-dessous.

‍

Ensuite, nous pouvons commencer à former le modèle YOLO11 comme suit :

• Étape 1 : installe le paquetagePython Ultralytics . Tu peux le faire en exécutant la commande "pip install ultralytics" dans ton terminal. Si tu rencontres des problèmes d'installation, consulte notre guide de dépannage pour obtenir des conseils et des astuces qui t'aideront à les résoudre.
  ‍
• Étape 2 : Après avoir installé le paquet avec succès, crée un fichier portant le nom "data.yaml". Il s'agit d'un fichier de configuration qui est crucial pour l'entraînement du modèle. Dans le fichier data.yaml, inclus les informations suivantes : le chemin d'accès à ton jeu de données d'entraînement, le chemin d'accès à ton jeu de données de validation, le nombre de classes (nc) et une liste de noms de classes (names), comme indiqué ci-dessous.

‍

• Étape 3 : une fois que le fichier 'data.yaml' est configuré, tu peux commencer à entraîner ton modèle à l'aide du code Python suivant. Ce code charge le modèle YOLO11 pré-entraîné et l'entraîne selon tes configurations.

from ultralytics import YOLO

# Load a YOLO11 model
model = YOLO("yolo11n.pt")  # choose your model, e.g., YOLO11 nano

# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)

• Étape 4 : une fois l'entraînement terminé, tu devrais voir une sortie similaire à celle présentée ci-dessous. Cela signifie que tu as réussi à entraîner ton modèle YOLO11 pour les applications basées sur les drones.

‍

Exécuter des prédictions en utilisant Ultralytics YOLO11 sur les drones

Le modèle YOLO11 formé peut maintenant être utilisé pour faire des prédictions grâce à un processus appelé inférence. L'inférence consiste à utiliser un modèle pour analyser de nouvelles données inédites en se basant sur ce qu'il a appris pendant la formation. Dans ce cas, le modèle peut être utilisé pour trouver et étiqueter des objets spécifiques, comme des maisons, dans des images ou des vidéos en dessinant des boîtes de délimitation autour d'eux.

Pour effectuer une prédiction, tu peux utiliser le modèle YOLO11 entraîné sur une vidéo d'entrée à l'aide du code Python suivant. Dans cet exemple, nous utiliserons la même vidéo de drone artificiel que celle utilisée pour l'entraînement, mais tu peux utiliser n'importe quel autre fichier vidéo si tu préfères.

# Import library
from ultralytics import YOLO

# Load the YOLO model
model = YOLO("best.pt")  # Choose your custom-trained model

# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

Après avoir exécuté ce code, le fichier vidéo de sortie avec les prédictions et les boîtes de délimitation sera enregistré.

‍

Intégrer Ultralytics YOLO11 sur des drones pour diverses applications

La détection des maisons pour les colis livrés par drone n'est qu'un exemple de la façon dont la vision par ordinateur et YOLO11 peuvent être appliqués. Voici d'autres utilisations réelles de la vision par ordinateur, de YOLO11 et des drones aériens :

• Surveillance et sécurité : Les drones IA peuvent être utilisés pour surveiller de vastes zones en temps réel. Ils peuvent détecter les intrusions, suivre les activités suspectes et renforcer la sécurité aux frontières nationales ainsi que lors de grands événements publics. 

• Intervention en cas de catastrophe et recherche et sauvetage : Équipés de caméras thermiques et de détection d'objets, les drones peuvent aider à localiser les survivants dans les zones sinistrées. Ils peuvent également évaluer les dégâts et livrer des fournitures d'urgence...

• Agriculture et agriculture de précision : Les drones intégrés à la vision par ordinateur peuvent être utilisés pour analyser la santé des cultures et détecter les maladies, ce qui aide les agriculteurs à augmenter les rendements tout en réduisant les coûts. 

• Cartographie et analyse géospatiale : En collectant des cartes 3D haute résolution, les drones d'IA peuvent aider à la planification urbaine et à l'arpentage. Ils fournissent des évaluations de terrain plus rapides et plus précises que les méthodes traditionnelles. 

Principaux enseignements

Les drones IA alimentés par la vision par ordinateur sont en train de changer de nombreux secteurs, de la livraison de colis à l'aide en cas d'urgence, en passant par l'agriculture. Dans ce guide, nous avons parcouru la création d'une vidéo de drone artificiel, l'étiquetage des objets qu'elle contient, l'entraînement de YOLO11 et son utilisation pour détecter des maisons.

L'application de la détection d'objets aux séquences filmées par les drones rend ces derniers plus intelligents, en leur permettant de reconnaître et de suivre automatiquement les objets en temps réel. À mesure que la technologie s'améliore, les drones pilotés par l'IA joueront probablement un rôle encore plus important pour accélérer les livraisons, améliorer la sécurité et contribuer aux interventions en cas de catastrophe.

Rejoins notre communauté et explore notre dépôt GitHub pour en savoir plus sur Vision AI, et consulte nos options de licence pour donner un coup de fouet à tes projets de vision par ordinateur. Tu es intéressé par des innovations telles que l'IA dans la fabrication ou la vision par ordinateur dans l' industrie automobile? Visite nos pages de solutions pour en découvrir davantage.