遇见 YOLO26: 下一代视觉 AI。
Ultralytics
Ultralytics YOLO

将 Ultralytics YOLO11 引入 Apple 设备(基于 CoreML)

了解如何轻松地将 Ultralytics YOLO11 应用于 Apple 设备,通过 CoreML 实现实时 iOS 应用所需的快速离线计算机视觉任务。

ABAbirami Vina
4 min read
将 Ultralytics YOLO11 引入 Apple 设备(基于 CoreML)

随着 Apple 引入 Apple Intelligence 等功能,显而易见,端侧 AI 正成为我们使用手机的核心方式。对于开发者而言,这一转变意味着用户正在采用各种 iOS 应用,这些应用利用计算机视觉等功能来提供更智能、响应更快的体验。

计算机视觉是一种人工智能 (AI) 类型,它使计算机能够理解和分析图像或视频等视觉信息。在移动设备上,它可以实时用于通过手机摄像头检测、分类和交互物体。像 Ultralytics YOLO11 这样的视觉 AI 模型可以根据你的应用需求进行自定义训练,以识别特定物体。

然而,YOLO11 并不能直接在 iOS 上开箱即用。若要在 iPhone 或其他 Apple 设备上部署 YOLO11(特别是在离线使用时),需要将其转换为针对 Apple 生态系统优化的格式。

这正是 CoreML 所解决的问题。CoreML 是 Apple 的机器学习框架,专为在本地运行模型并无缝集成到 iOS 和 macOS 应用中而构建。Ultralytics 支持的 CoreML 集成 使你能够轻松导出模型,以便在 iPhone 上进行本地部署。

在本文中,我们将仔细研究如何将你的 YOLO11 模型导出为 CoreML 格式。我们还将探讨一些实时用例,展示直接在 iOS 设备上运行计算机视觉模型的优势。让我们开始吧!

Link to this section什么是 CoreML?#

CoreML 是一个由 Apple 开发的 机器学习 (ML) 框架,它使开发者能够将训练好的 ML 模型直接集成到 Apple 生态系统的应用中,包括 iOS(iPhone 和 iPad)、macOS(Mac)、watchOS(Apple Watch)和 tvOS(Apple TV)。它的设计旨在通过支持在设备上直接运行模型来使机器学习在 Apple 设备上变得更易于使用且更高效,且无需连接互联网。

CoreML 的核心是一个统一的模型格式,支持各种 AI 任务,例如图像分类、目标检测、语音识别和自然语言处理。该框架经过优化,充分利用了 Apple 的硬件,利用 CPU(中央处理器)、GPU(图形处理器)和 ANE(Apple 神经引擎)来快速高效地执行模型。

CoreML 支持多种模型类型,并兼容流行的机器学习库,包括 TensorFlow、PyTorch、scikit-learn、XGBoost 和 LibSVM。这使得开发者能够更轻松地将先进的 ML 功能带入日常应用,同时确保它们在 Apple 设备上平稳运行。

CoreML 支持来自其他主流 AI 框架的模型

图 1. CoreML 支持来自其他流行 AI 框架的模型 (来源)。

Link to this sectionCoreML 的主要功能#

以下是一些使 CoreML 成为将 AI 集成到 Apple 应用中的可靠工具的关键功能:

  • 模型优化 CoreML 支持量化和剪枝等压缩技术,以减小模型大小并提高运行时效率。
  • 端侧个性化: Apple 的 ML 框架支持端侧个性化,使模型能够根据用户的交互在本地进行训练和更新。
  • 异步预测: 该框架让你的应用可以在后台运行预测,在处理 AI 任务的同时保持用户界面的平滑和响应。
  • 多任务学习:CoreML 支持能够同时执行多项任务的模型,例如在同一图像中检测物体并识别文本。

Link to this section如何将 YOLO11 导出为 CoreML 格式#

现在我们对 CoreML 框架有了更好的理解,让我们来看看如何使用 Ultralytics 支持的 CoreML 集成来将 YOLO11 模型导出为 CoreML 格式。

Link to this section第 1 步:设置你的环境#

要访问 Ultralytics 提供的集成功能,首先安装 Ultralytics Python 软件包。这是一个轻量级且易于使用的库,简化了诸如训练、评估、预测和导出 Ultralytics YOLO 模型等任务。

你可以通过在命令终端中运行“pip install ultralytics”来安装 Ultralytics Python 软件包。如果你使用的是 Jupyter Notebook 或 Google Colab 等环境,请在命令前加上感叹号 (!):“!pip install ultralytics”。

如果你在安装或导出到 CoreML 的过程中遇到任何问题,请查看官方的 Ultralytics 文档或 常见问题指南 以寻求帮助。

Link to this section第 2 步:将 YOLO11 导出为 CoreML#

一旦成功安装该软件包,你就可以加载 YOLO11 模型并将其转换为 CoreML 格式。

如果你不确定要使用哪种预训练的 YOLO11 模型,可以探索 Ultralytics 支持的模型系列。每种模型都在速度、大小和准确性之间提供了不同的平衡,你可以选择最适合你项目的模型。如果你在自己的数据集上训练过自定义 YOLO11 模型,也可以使用它。

在下面的代码片段中,使用了一个名为“yolo11n.pt”的预训练 YOLO11 模型文件。在导出过程中,它被转换为一个名为“yolo11n.mlpackage”的 CoreML 包。

“yolo11n”模型是纳米版本,针对速度和低资源消耗进行了优化。根据你项目的需求,你还可以选择其他模型大小,例如“s”(小)、“m”(中)、“l”(大)或“x”(超大)。每个版本在性能和准确性之间提供了不同的平衡。

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Link to this section第 3 步:使用导出的 CoreML 模型运行推理#

导出为 CoreML 格式后,YOLO11 可以轻松集成到 iOS 应用中,从而在 iPhone、iPad 和 Mac 等设备上实现实时计算机视觉任务,如 目标检测

例如,下面的代码片段演示了如何加载导出的 CoreML 模型并执行推理。推理是使用训练好的模型对新数据进行预测的过程。在本例中,模型会分析一张一家人玩球的图像。

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

运行代码后,输出图像将保存在“runs/detect/predict”文件夹中。

使用导出为 CoreML 格式的 YOLO11 模型进行目标检测

图 2. 使用 CoreML 格式的导出 YOLO11 模型来检测物体。图片由作者提供。

Link to this section导出的 CoreML 模型可以在哪里使用?#

将 YOLO11 导出为 CoreML 带来了构建多样化计算机视觉应用的灵活性,这些应用可以在 iPhone、iPad 和 Mac 上高效运行。接下来,让我们看看这种集成特别有用的现实场景。

Link to this section由 CoreML 模型驱动的增强现实和游戏应用#

增强现实 (AR) 通过将虚拟元素叠加到实时摄像机视图上来将数字内容与现实世界融合。它正成为移动游戏的关键部分,创造出更具交互性和沉浸感的体验。

通过将 YOLO11 导出为 CoreML 格式,iOS 开发者可以构建 AR 游戏,利用手机摄像头识别现实世界的物体,如长椅、树木或标志。游戏随后可以在这些物体上叠加虚拟物品,例如硬币、线索或生物,以增强玩家的周围环境。

在幕后,这是通过目标检测和目标跟踪来实现的。YOLO11 实时检测并识别物体,而跟踪则在相机移动时保持这些物体在视野内,确保虚拟元素与现实世界保持对齐。

玩家可以指着他们的手机,探索周围环境,并与所见物体进行互动来收集物品或完成快速挑战。所有这些都可以在设备上直接运行,无需连接互联网,使体验流畅且引人入胜。

Link to this section集成 CoreML 模型以实现实时 ANPR 的 iOS 应用#

自动车牌识别 (ANPR) 是一种用于检测和读取车辆牌照的计算机视觉应用。它通常用于安全、交通监控和访问控制系统。通过 CoreML 和像 YOLO11 这样的模型,ANPR 现在可以在 iOS 设备上高效运行。

在 iPhone 上拥有一款 ANPR 应用在安全为重点的环境中特别有用。例如,它可以帮助团队快速确定进入受限区域的车辆是否获得授权。

此类应用可以使用通过 CoreML 集成的视觉 AI 模型(如 YOLO11),利用设备的摄像头实时检测车辆并定位其车牌。一旦检测到车牌,光学字符识别 (OCR) 技术就可以读取牌照号码。随后,应用可以将此号码与本地或云端数据库进行对比,以验证访问权限或标记未经授权的车辆。

利用视觉 AI 检测并读取车牌号码

图 3. 视觉 AI 可用于检测和读取车牌号码。(来源)。

Link to this section专注于辅助功能的应用可以利用 CoreML 模型#

AI 对 辅助功能 产生了巨大的影响,帮助打破了视障人士的障碍。利用 CoreML 和像 YOLO11 这样的计算机视觉模型等工具,开发者可以构建 iOS 应用,实时描述用户周围的世界,让日常任务变得更轻松、更独立。

例如,视障人士可以将 iPhone 摄像头对准周围环境。该应用使用目标检测来识别关键要素,如车辆、行人或街道标志,并叙述所见内容。这可用于在繁忙街道上导航或理解紧急情况等场合。

使用 YOLO11 检测行人的示例

图 4. 使用 YOLO11 检测人的示例

Link to this section关键要点#

将 YOLO11 导出为 CoreML 格式为实时应用创造了新的机会,包括在 iOS 设备上进行离线目标检测。从农业和安全到辅助功能,这种组合允许开发者构建完全在设备上运行的智能、高效且注重隐私的应用。

只需几个简单的步骤,你就可以转换你的 YOLO11 模型并为 iPhone 添加可靠的计算机视觉功能。最棒的是,它无需互联网连接即可工作。总的来说,CoreML 集成将先进 AI 的力量带到了日常移动应用中,使其更快、响应更灵敏,并且可以在任何地方运行。

想了解更多关于 AI 的信息吗?探索我们的 GitHub 存储库,与 我们的社区 建立联系,并查看 我们的许可选项 以启动你的计算机视觉项目。在我们的解决方案页面上,了解 零售 AI物流计算机视觉 等创新如何塑造未来。

Explore solutions

Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多
Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多
Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多

让我们一起构建 AI 的未来!

开启你的机器学习未来之旅