30 июля 2025 г.
Узнайте, как легко перенести Ultralytics YOLO11 на устройства Apple с помощью CoreML и обеспечить выполнение быстрых задач компьютерного зрения в автономном режиме для iOS-приложений в реальном времени.
С появлением таких функций, как Apple Intelligence, становится ясно, что ИИ на устройстве становится центральной частью того, как мы используем наши телефоны. Для разработчиков этот сдвиг означает, что пользователи все чаще используют iOS-приложения, использующие такие возможности, как компьютерное зрение, для обеспечения более интеллектуального и оперативного взаимодействия.
Компьютерное зрение — это тип искусственного интеллекта (ИИ), который позволяет компьютерам понимать и анализировать визуальную информацию, такую как изображения или видео. На мобильных устройствах его можно использовать в режиме реального времени для обнаружения, классификации и взаимодействия с объектами через камеру телефона. Модели Vision AI, такие как Ultralytics YOLO11, могут быть специально обучены для распознавания определенных объектов в зависимости от потребностей вашего приложения.
Однако YOLO11 не настроен для работы на iOS прямо из коробки. Чтобы развернуть YOLO11 на iPhone или других устройствах Apple, особенно для автономного использования, его необходимо преобразовать в формат, оптимизированный для экосистемы Apple.
Это именно та проблема, которую CoreML был создан для решения. CoreML — это платформа машинного обучения Apple, созданная для локального запуска моделей и беспрепятственной интеграции в приложения iOS и macOS. Интеграция CoreML, поддерживаемая Ultralytics, позволяет легко экспортировать вашу модель для локального развертывания на iPhone.
В этой статье мы подробно рассмотрим, как экспортировать вашу модель YOLO11 в формат CoreML. Мы также рассмотрим примеры использования в реальном времени, которые показывают преимущества запуска моделей компьютерного зрения непосредственно на устройствах iOS. Начнем!
CoreML — это фреймворк машинного обучения (ML), разработанный Apple, который позволяет разработчикам интегрировать обученные ML-модели непосредственно в приложения во всей экосистеме Apple, включая iOS (iPhone и iPad), macOS (Mac), watchOS (Apple Watch) и tvOS (Apple TV). Он разработан, чтобы сделать машинное обучение доступным и эффективным на устройствах Apple, позволяя моделям работать непосредственно на устройстве, не требуя подключения к Интернету.
В основе CoreML лежит унифицированный формат моделей, который поддерживает широкий спектр AI-задач, таких как классификация изображений, обнаружение объектов, распознавание речи и обработка естественного языка. Фреймворк оптимизирован для максимального использования аппаратного обеспечения Apple, используя CPU (центральный процессор), GPU (графический процессор) и ANE (Apple Neural Engine) для быстрого и эффективного выполнения моделей.
CoreML поддерживает различные типы моделей и совместим с популярными библиотеками машинного обучения, включая TensorFlow, PyTorch, scikit-learn, XGBoost и LibSVM. Это упрощает разработчикам внедрение расширенных возможностей машинного обучения в повседневные приложения, обеспечивая их бесперебойную работу на устройствах Apple.
Вот некоторые из ключевых особенностей, которые делают CoreML надежным инструментом для интеграции ИИ в приложения Apple:
Теперь, когда у нас есть лучшее понимание фреймворка CoreML, давайте рассмотрим, как использовать интеграцию CoreML, поддерживаемую Ultralytics, для экспорта модели YOLO11 в формат CoreML.
Чтобы получить доступ к функциям интеграции, предоставляемым Ultralytics, начните с установки пакета Ultralytics Python. Это легкая и простая в использовании библиотека, которая упрощает такие задачи, как обучение, оценка, прогнозирование и экспорт моделей Ultralytics YOLO.
Вы можете установить Python-пакет Ultralytics, выполнив команду “pip install ultralytics” в вашем терминале. Если вы используете такую среду, как Jupyter Notebook или Google Colab, добавьте восклицательный знак (!) перед командой: “!pip install ultralytics”.
Если у вас возникнут какие-либо проблемы во время установки или экспорта в CoreML, обратитесь к официальной документации Ultralytics или к руководству по распространенным проблемам для получения помощи.
После успешной установки пакета вы готовы загрузить модель YOLO11 и преобразовать ее в формат CoreML.
Если вы не уверены, какую предварительно обученную модель YOLO11 использовать, вы можете изучить спектр моделей, поддерживаемых Ultralytics. Каждая из них предлагает различный баланс скорости, размера и точности, и вы можете выбрать наиболее подходящую для вашего проекта. Вы также можете использовать пользовательскую обученную модель YOLO11, если вы обучили ее на своем собственном наборе данных.
В приведенном ниже фрагменте кода используется предварительно обученная модель YOLO11 под названием "yolo11n.pt". В процессе экспорта она преобразуется в пакет CoreML под названием "yolo11n.mlpackage".
Модель "yolo11n" – это нано-версия, оптимизированная для скорости и низкого потребления ресурсов. В зависимости от потребностей вашего проекта вы также можете выбрать другие размеры моделей, такие как "s" для малых, "m" для средних, "l" для больших или "x" для очень больших. Каждая версия предлагает различный баланс между производительностью и точностью.
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="coreml")
После экспорта в формат CoreML YOLO11 можно легко интегрировать в приложения iOS, что позволяет выполнять задачи компьютерного зрения в реальном времени, такие как обнаружение объектов на таких устройствах, как iPhone, iPad и Mac.
Например, приведенный ниже фрагмент кода демонстрирует, как загрузить экспортированную модель CoreML и выполнить вывод. Вывод (inference) — это процесс использования обученной модели для прогнозирования на новых данных. В этом случае модель анализирует изображение семьи, играющей с мячом.
coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)
После запуска кода выходное изображение будет сохранено в папке «runs/detect/predict».
Экспорт YOLOv8 в CoreML обеспечивает гибкость при создании разнообразных приложений компьютерного зрения, которые могут эффективно работать на iPhone, iPad и Mac. Далее рассмотрим несколько реальных сценариев, в которых эта интеграция может быть особенно полезной.
Дополненная реальность (AR) сочетает цифровой контент с реальным миром, накладывая виртуальные элементы на изображения с камеры в реальном времени. Она становится ключевой частью мобильных игр, создавая более интерактивные и захватывающие впечатления.
После экспорта YOLO11 в формат CoreML разработчики iOS могут создавать AR-игры, которые распознают реальные объекты, такие как скамейки, деревья или знаки, с помощью камеры телефона. Затем игра может накладывать виртуальные предметы, такие как монеты, подсказки или существа, поверх этих объектов, чтобы улучшить окружение игрока.
За кулисами это работает с использованием обнаружения объектов и отслеживания объектов. YOLO11 обнаруживает и идентифицирует объекты в режиме реального времени, а отслеживание удерживает эти объекты в поле зрения при движении камеры, гарантируя, что виртуальные элементы остаются выровненными с реальным миром.
Игроки могут наводить свои телефоны, исследовать окружающую среду и взаимодействовать с тем, что они видят, чтобы собирать предметы или выполнять быстрые задания. Все это может работать непосредственно на устройстве без необходимости подключения к Интернету, что делает взаимодействие плавным и увлекательным.
Автоматическое распознавание номерных знаков (ANPR) - это приложение компьютерного зрения, используемое для обнаружения и считывания номерных знаков транспортных средств. Оно обычно используется в системах безопасности, мониторинга дорожного движения и контроля доступа. С CoreML и моделями, такими как YOLO11, ANPR теперь может эффективно работать на устройствах iOS.
Наличие приложения ANPR на вашем iPhone может быть особенно полезным в средах, ориентированных на безопасность. Например, оно может помочь командам быстро определить, разрешено ли транспортному средству въезжать в запретную зону или нет.
Такое приложение может использовать модель Vision AI, такую как YOLO11, интегрированную через CoreML, для обнаружения транспортных средств и определения местоположения их номерных знаков в режиме реального времени с помощью камеры устройства. После обнаружения номерного знака технология оптического распознавания символов (OCR) может считать номер. Затем приложение может сравнить этот номер с локальной или облачной базой данных, чтобы проверить доступ или отметить несанкционированные транспортные средства.
ИИ оказал огромное влияние на доступность, помогая устранить барьеры для людей с нарушениями зрения. С помощью таких инструментов, как CoreML, и моделей компьютерного зрения, таких как YOLO11, разработчики могут создавать приложения для iOS, которые описывают мир вокруг пользователей в режиме реального времени, облегчая повседневные задачи и делая их более независимыми.
Например, человек с ослабленным зрением может направить камеру своего iPhone на окружающую среду. Приложение использует обнаружение объектов для распознавания ключевых элементов, таких как транспортные средства, люди или дорожные знаки, и рассказывает, что видит. Это можно использовать в таких ситуациях, как навигация по оживленной улице или понимание чрезвычайной ситуации.
Экспорт YOLOv8 в формат CoreML открывает новые возможности для приложений реального времени, включая автономное обнаружение объектов на устройствах iOS. От сельского хозяйства и безопасности до обеспечения доступности, эта комбинация позволяет разработчикам создавать интеллектуальные, эффективные и ориентированные на конфиденциальность приложения, которые работают полностью на устройстве.
Всего за несколько простых шагов вы можете преобразовать свою модель YOLO11 и добавить надежные функции компьютерного зрения на iPhone. Лучше всего то, что это работает без подключения к Интернету. В целом, интеграция CoreML предоставляет возможности передового ИИ для повседневных мобильных приложений, делая их быстрее, отзывчивее и готовыми к работе в любом месте.
Хотите узнать больше об ИИ? Изучите наш репозиторий на GitHub, присоединяйтесь к нашему сообществу и ознакомьтесь с нашими вариантами лицензирования, чтобы дать старт своему проекту в области компьютерного зрения. Узнайте, как инновации, такие как ИИ в розничной торговле и компьютерное зрение в логистике, формируют будущее на страницах с нашими решениями.
.webp)