使用Ultralytics YOLO11构建人工智能驱动的无人机应用

在无人机上使用Ultralytics YOLO11 探测房屋

送货无人机的一个关键部分是在飞行过程中探测房屋的能力。为了重现这种能力并了解其工作原理，我们将训练一个计算机视觉模型，以识别无人机航拍镜头中的房屋。为此，我们将对YOLO11 进行定制训练，这包括使用标注示例对预训练的YOLO11 模型进行微调，以识别和检测房屋。

为此，我们需要来自无人机的高质量视频数据。有趣的是，即使没有真正的无人机，我们也能生成逼真的航拍画面。让我们来看看如何做到这一点。

使用Google Earth Studio 创建人工无人机镜头

Google 地球工作室是一款基于网络的动画工具，用户可使用Google 地球的卫星和三维图像创建静态和动画内容。我们可以用它来制作逼真的航拍镜头。

第一步是打开Google Earth Studio并创建一个项目，如下图所示。 

您需要一个Google 帐户才能登录。

‍

登录后，您可以为人工无人机视频选择一个地点。使用页面左上角的搜索栏可以搜索地点。在本教程中，我们将选择加拿大。此外，由于我们要训练一个模型来检测房屋，因此我们的无人机视频应该有房屋的鸟瞰图。

‍

接下来，我们可以设置第一个和最后一个时间帧来捕捉人工无人机镜头的运动。选择好无人机拍摄的起始位置后，如下图所示使用蓝色钻石设置第一帧。 

‍

接下来，我们可以选择最后一帧来确定无人机的目的地。这将帮助我们为无人机镜头创建移动效果。为此，向右滑动条形图（如下图高亮显示）至特定时间，以便为无人机镜头创建移动效果。再次使用蓝色钻石设置最后一点。

‍

最后，点击页面右上角的红色 "Render（渲染）"按钮，保存并渲染该项目。这将为您提供无人机拍摄的最终视频输出，成功创建人工无人机视频片段。

‍

如何标注无人机数据？

现在我们已经创建了人工无人机视频片段，下一步就是给其中的房屋贴上标签或添加注释。我们还需要将视频的各个帧分开。 

要开始使用，我们先安装 LabelImg。LabelImg 是一款开源图像标注工具。你可以使用 pip 软件包安装程序直接从终端安装它，方法是运行以下命令："pip install labelImg"。

安装完成后，可以在终端或命令提示符下使用 "labelImg "命令运行该工具。这将带你进入下图所示的页面。

‍

同时，我们可以使用在线视频图像转换器或名为FFmpeg的工具将视频分割成帧。FFmpeg 是一个处理多媒体内容（如音频、视频、字幕和相关元数据）的库和工具集合。 

您可以使用以下终端命令来分离无人机拍摄视频的每一帧：

ffmpeg -i input_video.mp4 -vf fps=1 frame_%04d.jpg

将无人机拍摄的画面分离出来后，我们就可以开始标注其中的物体（房屋）了。通过 LabelImg 工具导航到图像文件夹，我们就可以为每张图像中的对象贴上标签。确保保存并验证每张标注过的图像。注释完图像后，我们就可以使用这些数据训练YOLO11 了。

‍

YOLO11 模型训练工作流程

在开始训练YOLO11 之前，我们先整理一下图像和标签。首先创建两个文件夹：一个名为 "train"，另一个名为 "valid"。将图像分放在这两个文件夹中。在每个文件夹中，为图像和相应的标签文件（文本格式）创建单独的子文件夹，如下图所示。

‍

然后，我们就可以开始训练YOLO11 模型了：

• 第一步：安装Ultralytics Python 软件包。在终端运行 "pip installultralytics"命令即可。如果遇到任何安装问题，请查看我们的故障排除指南，其中有帮助你解决问题的技巧和窍门。
  ‍
• 第 2 步：成功安装软件包后，创建一个名为 "data.yaml "的文件。这是一个对训练模型至关重要的配置文件。在 data.yaml 文件中，请包含以下信息：训练数据集的路径、验证数据集的路径、类的数量 (nc) 和类名列表 (names)，如下所示。

‍

• 第 3 步：配置好 "data.yaml "文件后，就可以使用以下Python 代码开始训练模型了。该代码将加载预训练的YOLO11 模型，并根据您的配置对其进行训练。

from ultralytics import YOLO

# Load a YOLO11 model
model = YOLO("yolo11n.pt")  # choose your model, e.g., YOLO11 nano

# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)

• 第 4 步： 训练完成后，您应该会看到与下图类似的输出结果。这意味着您已经成功训练了用于无人机应用的YOLO11 模型。

‍

在无人机上使用Ultralytics YOLO11 进行预测

现在，经过训练的YOLO11 模型可以通过一个称为推断的过程进行预测。推理是指根据模型在训练过程中学到的知识来分析新的、未见过的数据。在这种情况下，模型可以通过在图像或视频中绘制边界框来查找和标注特定的物体（如房屋）。

要运行预测，您可以使用以下Python 代码在输入视频上使用训练有素的YOLO11 模型。在本例中，我们将使用与训练时相同的人工无人机视频，但如果您愿意，也可以使用任何其他视频文件。

# Import library
from ultralytics import YOLO

# Load the YOLO model
model = YOLO("best.pt")  # Choose your custom-trained model

# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

运行此代码后，将保存带有预测结果和边界框的输出视频文件。

‍

在无人机上集成Ultralytics YOLO11 ，用于各种应用

为无人机送货包裹检测房屋只是计算机视觉和YOLO11 应用的一个例子。以下是计算机视觉、YOLO11 和无人机在现实世界中的其他一些应用：

• 监控和安全： 人工智能无人机可用于实时监控大片区域。它们可以侦测入侵、追踪可疑活动、加强国家边境和大型公共活动的安全。 

• 救灾和搜救：无人机配备热像仪和物体探测功能，可帮助确定灾区幸存者的位置。它们还可以评估损坏情况并运送应急物资。

• 农业和精准农业：集成了计算机视觉技术的无人机可用于分析作物健康状况和检测疾病，帮助农民提高产量，同时降低成本。 

• 制图和地理空间分析： 通过收集高分辨率三维地图，人工智能无人机可协助城市规划和土地勘测。与传统方法相比，它们能提供更快、更准确的地形评估。 

主要收获

由计算机视觉驱动的人工智能无人机正在改变许多行业，从递送包裹到帮助应急和农业生产。在本指南中，我们将介绍如何创建人工无人机视频、标注其中的物体、训练YOLO11 并用它来检测房屋。

在无人机拍摄的画面中应用物体检测技术，可以让无人机变得更加智能，使其能够实时自动识别和跟踪物体。随着技术的进步，人工智能驱动的无人机可能会在加快送货速度、提高安全性和帮助灾难应对方面发挥更大的作用。

加入我们的社区，探索我们的GitHub 存储库，了解更多有关视觉人工智能的信息，并查看 我们的许可选项，启动您的计算机视觉项目。对制造业中的人工智能 或汽车行业中的计算机视觉等创新感兴趣？访问我们的解决方案页面，了解更多信息。