YOLO Vision 2026:
Ultralytics YOLO

将 Ultralytics YOLO11 引入 Apple 设备(基于 CoreML)

了解如何轻松地将 Ultralytics YOLO11 应用于 Apple 设备,通过 CoreML 实现实时 iOS 应用所需的快速离线计算机视觉任务。

ABAbirami Vina4 min read
将 Ultralytics YOLO11 引入 Apple 设备(基于 CoreML)

随着苹果推出诸如 Apple Intelligence 这样的功能,很明显,端侧 AI 正在成为我们使用手机的核心方式。对于开发者而言,这种转变意味着用户正在接受使用计算机视觉等功能的 iOS 应用,从而获得更智能、更具响应性的体验。

Computer vision 是一种人工智能(AI),它使计算机能够理解和分析视觉信息,例如图像或视频。在移动设备上,它可以通过手机的摄像头实时用于检测、分类和与物体交互。诸如 Ultralytics YOLO11 之类的 Vision AI 模型可以根据你的应用需求进行自定义训练,以识别特定的物体。

然而,Ultralytics YOLO11 并非开箱即可在 iOS 上运行。要在 iPhone 或其他 Apple 设备上部署 YOLO11,特别是用于离线场景时,需要将其转换为针对 Apple 生态系统进行优化的格式。

这正是 CoreML 旨在解决的问题。CoreML 是苹果的机器学习框架,旨在本地运行模型并无缝集成到 iOS 和 macOS 应用中。在 Ultralytics 的支持下,CoreML integration 使你可以轻松导出模型以便在 iPhone 上进行本地部署。

在这篇文章中,我们将详细介绍如何将你的 Ultralytics YOLO11 模型导出为 CoreML 格式。我们还将探讨展示在 iOS 设备上直接运行计算机 vision 模型优势的实时用例。我们开始吧!

什么是 CoreML?#

CoreML 是苹果开发的一个 machine learning (ML) framework,它使开发者能够将训练好的 ML 模型直接集成到苹果生态系统中的各个应用中,包括 iOS(iPhone 和 iPad)、macOS(Mac)、watchOS (Apple Watch) 和 tvOS (Apple TV)。它旨在通过使模型能够直接在设备上运行而无需互联网连接,从而使机器学习在苹果设备上变得易于使用且高效。

CoreML 的核心是一个统一的模型格式,支持各种 AI 任务,例如图像分类、目标检测、语音识别和自然语言处理。该框架经过优化,充分利用了 Apple 的硬件,利用 CPU(中央处理器)、GPU(图形处理器)和 ANE(Apple 神经引擎)来快速高效地执行模型。

CoreML 支持多种模型类型,并兼容流行的机器学习库,包括 TensorFlow、PyTorch、scikit-learn、XGBoost 和 LibSVM。这使得开发者能够更轻松地将先进的 ML 功能带入日常应用,同时确保它们在 Apple 设备上平稳运行。

CoreML supports models from other popular AI frameworks

图 1. CoreML 支持来自其他流行 AI 框架的模型(Source)。

CoreML 的主要功能#

以下是一些使 CoreML 成为将 AI 集成到 Apple 应用中的可靠工具的关键功能:

  • Model optimization**:**CoreML 支持诸如量化和剪枝之类的压缩技术,以减小模型大小并提高运行时效率。
  • 端侧个性化: Apple 的 ML 框架支持端侧个性化,使模型能够根据用户的交互在本地进行训练和更新。
  • 异步预测: 该框架让你的应用可以在后台运行预测,在处理 AI 任务的同时保持用户界面的平滑和响应。
  • 多任务学习:CoreML 支持能够同时执行多项任务的模型,例如在同一图像中检测物体并识别文本。

如何将 Ultralytics YOLO11 导出为 CoreML 格式#

现在我们对 CoreML 框架有了更好的理解,让我们来看看如何使用 Ultralytics 支持的 CoreML 集成来将 YOLO11 模型导出为 CoreML 格式。

第 1 步:设置你的环境#

要访问 Ultralytics 提供的集成功能,请首先安装 Ultralytics Python package。它是一个轻量级且易于使用的库,简化了训练、评估、预测和导出 Ultralytics YOLO 模型等任务。

你可以通过在命令终端中运行“pip install ultralytics”来安装 Ultralytics Python 软件包。如果你使用的是 Jupyter Notebook 或 Google Colab 等环境,请在命令前加上感叹号 (!):“!pip install ultralytics”。

如果你在安装过程中或导出到 CoreML 时遇到任何问题,请查看官方 Ultralytics 文档或 Common Issues guide 以获取帮助。

步骤 2:将 Ultralytics YOLO11 导出为 CoreML#

成功安装该软件包后,你就可以加载一个 Ultralytics YOLO11 模型并将其转换为 CoreML 格式。

如果你不确定要使用哪个预训练的 YOLO11 模型,可以浏览 Ultralytics models supported 的范围。每个模型都在速度、大小和准确性之间提供了不同的平衡,你可以为你的项目挑选最合适的模型。如果你在自己的数据集上训练过自定义 YOLO11 模型,也可以使用它。

在下面的代码片段中,使用了一个名为“yolo11n.pt”的预训练 YOLO11 模型文件。在导出过程中,它被转换为一个名为“yolo11n.mlpackage”的 CoreML 包。

“yolo11n”模型是纳米版本,针对速度和低资源消耗进行了优化。根据你项目的需求,你还可以选择其他模型大小,例如“s”(小)、“m”(中)、“l”(大)或“x”(超大)。每个版本在性能和准确性之间提供了不同的平衡。

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

第 3 步:使用导出的 CoreML 模型运行推理#

导出为 CoreML 格式后,Ultralytics YOLO11 可以轻松集成到 iOS 应用程序中,从而在 iPhone、iPad 和 Mac 等设备上实现诸如object detection之类的实时计算机视觉任务。

例如,下面的代码片段演示了如何加载导出的 CoreML 模型并执行推理。推理是使用训练好的模型对新数据进行预测的过程。在本例中,模型会分析一张一家人玩球的图像。

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

运行代码后,输出图像将保存在“runs/detect/predict”文件夹中。

使用导出为 CoreML 格式的 Ultralytics YOLO11 模型检测物体

图 2. 使用导出为 CoreML 格式的 Ultralytics YOLO11 模型检测物体。图片由作者提供。

导出的 CoreML 模型可以在哪里使用?#

将 Ultralytics YOLO11 导出到 CoreML 带来了构建各种计算机视觉应用程序的灵活性,这些应用程序可以在 iPhone、iPad 和 Mac 上高效运行。接下来,让我们来看看这种集成特别有用的几个实际场景。

由 CoreML 模型驱动的增强现实和游戏应用#

Augmented reality (AR) 通过将虚拟元素叠加到实时相机视图上,将数字内容与现实世界融合在一起。它正成为移动游戏的关键部分,从而创造出更多互动和沉浸式的体验。

通过将 Ultralytics YOLO11 导出为 CoreML 格式,iOS 开发者可以使用手机摄像头构建能够识别长椅、树木或标志等现实世界物体的 AR 游戏。然后,游戏可以在这些物体上方叠加虚拟物品(如金币、线索或生物),以增强玩家的周围环境。

在幕后,这是通过目标检测和目标跟踪来工作的。Ultralytics YOLO11 可以实时检测和识别物体,而跟踪功能则在摄像头移动时保持这些物体在视野中,确保虚拟元素与现实世界保持对齐。

玩家可以指着他们的手机,探索周围环境,并与所见物体进行互动来收集物品或完成快速挑战。所有这些都可以在设备上直接运行,无需连接互联网,使体验流畅且引人入胜。

集成 CoreML 模型以实现实时 ANPR 的 iOS 应用#

Automatic Number Plate Recognition (ANPR) 是一种用于检测和读取车辆车牌的计算机视觉应用。它通常用于安全、交通监控和访问控制系统中。借助 CoreML 以及诸如 YOLO11 之类的模型,ANPR 现在可以在 iOS 设备上高效运行。

在 iPhone 上拥有一款 ANPR 应用在安全为重点的环境中特别有用。例如,它可以帮助团队快速确定进入受限区域的车辆是否获得授权。

这样的应用程序可以使用诸如 Ultralytics YOLO11 之类的视觉 AI 模型(通过 CoreML 集成),利用设备的摄像头实时检测车辆并定位其车牌。一旦检测到车牌,光学字符识别 (OCR) 技术就可以读取车牌号。然后,应用程序可以将此号码与本地或基于云的数据库进行比较,以验证访问权限或标记未授权车辆。

Vision AI used to detect and read license plate numbers

图 3. Vision AI 可用于检测和读取车牌号。(Source)。

专注于辅助功能的应用可以利用 CoreML 模型#

AI 对accessibility产生了巨大影响,有助于打破视障人士的障碍。借助 CoreML 等工具以及 Ultralytics YOLO11 等计算机视觉模型,开发者可以构建能够实时向用户描述周围世界的 iOS 应用,从而使日常任务变得更加轻松和独立。

例如,视障人士可以将 iPhone 摄像头对准周围环境。该应用使用目标检测来识别关键要素,如车辆、行人或街道标志,并叙述所见内容。这可用于在繁忙街道上导航或理解紧急情况等场合。

使用 Ultralytics YOLO11 检测人员的示例

图 4. 使用 Ultralytics YOLO11 检测人员的示例

关键要点#

将 Ultralytics YOLO11 导出到 CoreML 格式为实时应用创造了新的机遇,包括在 iOS 设备上进行离线目标检测。从农业、安全到无障碍,这种组合允许开发者构建完全在设备上运行的智能、高效且注重隐私的应用。

只需几个简单的步骤,你就可以转换你的 Ultralytics YOLO11 模型并为 iPhone 添加可靠的计算机视觉功能。最棒的是,它无需连接互联网即可工作。总体而言,CoreML 集成将先进 AI 的强大功能带入了日常移动应用中,使其更快、响应更灵敏,并随时随地准备运行。

想了解更多关于 AI 的信息吗?浏览我们的 GitHub repository,与 our community 建立联系,并查看 our licensing options 以启动你的计算机视觉项目。在我们的解决方案页面上了解诸如 AI in retailcomputer vision in logistics 之类的创新如何塑造未来。

Explore solutions

Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多
Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多
Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多

让我们一起构建 AI 的未来!

开启你的机器学习未来之旅