Внедрение Ultralytics YOLO11 на устройства Apple через CoreML

С появлением у Apple таких функций, как Apple Intelligence, становится очевидно, что ИИ на устройстве занимает центральное место в том, как ты пользуешься телефоном. Для разработчиков этот сдвиг означает, что пользователи переходят на iOS-приложения, которые задействуют возможности вроде компьютерного зрения для создания более умных и отзывчивых интерфейсов.

Computer vision — это разновидность искусственного интеллекта (ИИ), которая позволяет компьютерам понимать и анализировать визуальную информацию, например изображения или видео. На мобильных устройствах ее можно использовать в реальном времени для обнаружения, классификации объектов и взаимодействия с ними через камеру телефона. Модели Vision AI, такие как Ultralytics YOLO11, могут быть обучены под конкретные задачи для распознавания определенных объектов в зависимости от потребностей твоего приложения.

Тем не менее, Ultralytics YOLO11 не настроен на работу на iOS сразу после установки. Чтобы развернуть YOLO11 на iPhone или других устройствах Apple, особенно для автономного использования, его нужно конвертировать в формат, оптимизированный для экосистемы Apple.

Это как раз та проблема, для решения которой создан CoreML. CoreML — это фреймворк машинного обучения от Apple, созданный для локального запуска моделей и бесшовной интеграции в приложения для iOS и macOS. CoreML integration при поддержке Ultralytics упрощает экспорт твоей модели для локального развертывания на iPhone.

В этой статье мы подробно рассмотрим, как экспортировать твою модель Ultralytics YOLO11 в формат CoreML. Мы также изучим сценарии использования в реальном времени, которые демонстрируют преимущества запуска моделей компьютерного зрения непосредственно на устройствах под управлением iOS. Давай начнем!

Что такое CoreML?#

CoreML — это machine learning (ML) framework, разработанный Apple, который позволяет разработчикам интегрировать обученные модели ML напрямую в приложения во всей экосистеме Apple, включая iOS (iPhone и iPad), macOS (Mac), watchOS (Apple Watch) и tvOS (Apple TV). Он создан для того, чтобы сделать машинное обучение доступным и эффективным на устройствах Apple, позволяя моделям работать прямо на устройстве без подключения к интернету.

В основе CoreML лежит унифицированный формат моделей, поддерживающий широкий спектр задач ИИ, таких как классификация изображений, обнаружение объектов, распознавание речи и обработка естественного языка. Фреймворк оптимизирован для максимально эффективного использования оборудования Apple, задействуя CPU (центральный процессор), GPU (графический процессор) и ANE (Apple Neural Engine) для быстрого и эффективного выполнения моделей.

CoreML поддерживает различные типы моделей и совместим с популярными библиотеками машинного обучения, включая TensorFlow, PyTorch, scikit-learn, XGBoost и LibSVM. Это упрощает разработчикам внедрение передовых возможностей ИИ в повседневные приложения, обеспечивая при этом их плавную работу на устройствах Apple.

Рис. 1. CoreML поддерживает модели из других популярных ИИ-фреймворков (Source).

Ключевые особенности CoreML#

Вот несколько ключевых особенностей, которые делают CoreML надежным инструментом для интеграции ИИ в приложения для Apple:

• Model optimization: CoreML поддерживает методы сжатия, такие как квантование и прореживание, для уменьшения размера модели и повышения эффективности выполнения.
• Персонализация на устройстве: ML-фреймворк от Apple поддерживает локальную персонализацию, позволяя обучать и обновлять модели прямо на устройстве на основе взаимодействия с пользователем.
• Асинхронные предсказания: Этот фреймворк позволяет твоему приложению выполнять предсказания в фоновом режиме, сохраняя плавность интерфейса при обработке задач ИИ.
• Многозадачное обучение: CoreML поддерживает модели, способные выполнять несколько задач одновременно, например, обнаруживать объекты и распознавать текст на одном изображении.

Как экспортировать Ultralytics YOLO11 в формат CoreML#

Теперь, когда у тебя есть лучшее понимание фреймворка CoreML, давай разберем, как использовать интеграцию CoreML, поддерживаемую Ultralytics, для экспорта модели YOLO11 в формат CoreML.

Шаг 1: Настройка среды#

Чтобы получить доступ к функциям интеграции, предоставляемым Ultralytics, начните с установки Ultralytics Python package. Это легкая и простая в использовании библиотека, которая упрощает такие задачи, как обучение, оценка, прогнозирование и экспорт моделей Ultralytics YOLO.

Ты можешь установить пакет Ultralytics для Python, выполнив команду «pip install ultralytics» в терминале. Если ты используешь среду вроде Jupyter Notebook или Google Colab, добавь восклицательный знак (!) перед командой: «!pip install ultralytics».

Если у тебя возникнут какие-либо проблемы во время установки или экспорта в CoreML, обратись за помощью к официальной документации Ultralytics или в Common Issues guide.

Шаг 2: Экспорт Ultralytics YOLO11 в CoreML#

Как только пакет будет успешно установлен, ты готов к загрузке модели Ultralytics YOLO11 и ее конвертации в формат CoreML.

Если ты не уверен, какую предобученную модель YOLO11 использовать, ты можешь изучить ассортимент models supported от Ultralytics. Каждая из них предлагает свой баланс скорости, размера и точности, и ты можешь выбрать наиболее подходящую для своего проекта. Ты также можешь использовать модель YOLO11, обученную на твоем собственном наборе данных.

В приведенном ниже фрагменте кода используется предобученная модель YOLO11 с именем "yolo11n.pt". В процессе экспорта она конвертируется в пакет CoreML под названием "yolo11n.mlpackage."

Модель "yolo11n" — это нано-версия, оптимизированная для скорости и низкого потребления ресурсов. В зависимости от нужд проекта ты можешь выбрать другие размеры моделей, такие как "s" для маленьких, "m" для средних, "l" для больших или "x" для сверхбольших. Каждая версия предлагает свой баланс производительности и точности.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Шаг 3: Запуск инференса с использованием экспортированной модели CoreML#

После экспорта в формат CoreML модель Ultralytics YOLO11 можно легко интегрировать в приложения для iOS, что позволяет выполнять задачи компьютерного зрения в реальном времени, такие как обнаружение объектов на таких устройствах, как iPhone, iPad и Mac.

Например, фрагмент кода ниже демонстрирует, как загрузить экспортированную модель CoreML и выполнить инференс. Инференс — это процесс использования обученной модели для получения предсказаний на новых данных. В данном случае модель анализирует изображение семьи, играющей с мячом.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

После запуска кода выходное изображение будет сохранено в папке "runs/detect/predict".

Рис. 2. Использование экспортированной модели Ultralytics YOLO11 в формате CoreML для обнаружения объектов. Изображение автора.

Где можно использовать экспортированные модели CoreML?#

Экспорт модели Ultralytics YOLO11 в CoreML дает гибкость при создании разнообразных приложений компьютерного зрения, которые могут эффективно работать на iPhone, iPad и Mac. Давай теперь рассмотрим несколько реальных сценариев, где эта интеграция может быть особенно полезна.

Приложения дополненной реальности и игры на основе моделей CoreML#

Augmented reality (AR) объединяет цифровой контент с реальным миром путем наложения виртуальных элементов на живое видео с камеры. Она становится ключевой частью мобильных игр, создавая более интерактивные и захватывающие впечатления.

С экспортированной в формат CoreML моделью Ultralytics YOLO11 разработчики для iOS могут создавать игры дополненной реальности (AR), которые распознают реальные объекты, такие как скамейки, деревья или знаки, используя камеру телефона. Затем игра может накладывать виртуальные элементы, такие как монеты, подсказки или существа, поверх этих объектов, чтобы дополнить окружение игрока.

За кулисами это работает с использованием обнаружения и трекинга объектов. Ultralytics YOLO11 обнаруживает и идентифицирует объекты в реальном времени, в то время как трекинг удерживает эти объекты в поле зрения по мере движения камеры, обеспечивая выравнивание виртуальных элементов с реальным миром.

Игроки могут направлять свои телефоны, исследовать окружение и взаимодействовать с тем, что видят, чтобы собирать предметы или выполнять быстрые задания. Всё это может работать непосредственно на устройстве без необходимости в интернет-соединении, делая процесс плавным и увлекательным.

iOS-приложения с интеграцией моделей CoreML для ANPR в реальном времени#

Automatic Number Plate Recognition (ANPR) — это приложение компьютерного зрения, используемое для обнаружения и чтения автомобильных номеров. Оно обычно применяется в системах безопасности, мониторинга дорожного движения и контроля доступа. С помощью CoreML и таких моделей, как YOLO11, ANPR теперь может эффективно работать на устройствах iOS.

Наличие ANPR-приложения на iPhone может быть особенно полезно в средах, где важна безопасность. Например, это поможет командам быстро определить, является ли автомобиль, въезжающий на охраняемую территорию, авторизованным.

Такое приложение может использовать модель искусственного интеллекта для зрения, такую как Ultralytics YOLO11, интегрированную через CoreML, чтобы обнаруживать транспортные средства и находить их номерные знаки в реальном времени с помощью камеры устройства. Как только номерной знак обнаружен, технология оптического распознавания символов (OCR) может прочитать номер. Затем приложение может сравнить этот номер с локальной или облачной базой данных для проверки доступа или пометки несанкционированных транспортных средств.

Рис. 3. Vision AI можно использовать для обнаружения и чтения номеров лицензий. (Source).

Приложения для людей с ограниченными возможностями могут использовать модели CoreML#

Искусственный интеллект оказал огромное влияние на доступность, помогая разрушать барьеры для людей с нарушениями зрения. С помощью таких инструментов, как CoreML и модели компьютерного зрения, такие как Ultralytics YOLO11, разработчики могут создавать приложения для iOS, которые описывают окружающий пользователей мир в реальном времени, делая повседневные задачи проще и независимее.

Например, человек с нарушениями зрения может навести камеру своего iPhone на окружающую обстановку. Приложение использует обнаружение объектов, чтобы распознать ключевые элементы, такие как транспортные средства, люди или дорожные знаки, и озвучивает увиденное. Это можно использовать в ситуациях вроде навигации по оживленной улице или ориентирования в экстренном случае.

Рис. 4. Пример использования Ultralytics YOLO11 для обнаружения людей

Основные выводы#

Экспорт модели Ultralytics YOLO11 в формат CoreML открывает новые возможности для приложений реального времени, включая автономное обнаружение объектов на устройствах с iOS. От сельского хозяйства и безопасности до доступности — эта комбинация позволяет разработчикам создавать умные, эффективные и ориентированные на конфиденциальность приложения, которые работают полностью на устройстве.

Всего за несколько простых шагов ты можешь конвертировать свою модель Ultralytics YOLO11 и добавить надежные функции компьютерного зрения на iPhone. Лучше всего то, что это работает без необходимости подключения к интернету. В целом, интеграция CoreML приносит мощь передового искусственного интеллекта в повседневные мобильные приложения, делая их быстрее, отзывчивее и готовыми к работе где угодно.

Хочешь узнать больше об ИИ? Изучи наш GitHub repository, присоединяйся к our community и ознакомься с our licensing options, чтобы дать старт своему проекту компьютерного зрения. Узнай, как такие инновации, как AI in retail и computer vision in logistics, формируют будущее, на наших страницах решений.