Лучшие модели обнаружения объектов для приложений iOS на чипах Apple Silicon

Устройства Android и iPhone стали повседневной необходимостью. Люди используют их для покупок, навигации, фотосъёмки, сканирования товаров и взаимодействия с приложениями в течение всего дня.

С быстрым развитием искусственного интеллекта многие смартфоны теперь оснащаются функциями, способными понимать изображения и видео, снятые камерой устройства. Возможность эффективно запускать эти функции во многом зависит от используемого аппаратного обеспечения.

Например, в экосистеме Apple такие устройства, как iPhone, iPad и Mac, работают на чипах Apple Silicon, включая чипы серий A и M. Эти системы на кристалле (SoC) объединяют центральные процессоры (CPU), графические процессоры (GPU) и специализированные ускорители машинного обучения, обеспечивая выполнение вывода AI-моделей непосредственно на устройстве.

В частности, возможности анализа изображений реализуются благодаря компьютерному зрению — области AI, которая позволяет машинам интерпретировать и понимать визуальную информацию из изображений и видео с помощью таких задач, как обнаружение объектов.

В частности, модели обнаружения объектов анализируют изображения и находят объекты, выделяя их ограничивающими рамками. Эти модели можно оптимизировать для эффективной работы на мобильном оборудовании, например на чипах Apple Silicon, обеспечивая визуальный анализ в реальном времени непосредственно на устройствах iOS.

Рис. 1. Пример обнаружения объектов с выделением объектов ограничивающими рамками. (Источник)

В этой статье мы рассмотрим некоторые из лучших моделей обнаружения объектов для создания быстрых приложений iOS, работающих в реальном времени. Давай начнём!

Как детекторы объектов работают на устройствах iOS#

Обнаружение объектов помогает приложениям распознавать объекты на изображении и определять их местоположение. Когда приложение обрабатывает входное изображение, модель обнаружения объектов может проанализировать сцену, найти различные объекты, выделить их ограничивающими рамками и присвоить им метки.

Большинство систем обнаружения объектов основано на нейронных сетях, способных распознавать закономерности в обучающих данных. В задачах обработки изображений эти модели изучают визуальные представления, анализируя информацию на уровне пикселей из больших обучающих наборов данных.

Свёрточные нейронные сети (CNN) часто используются в качестве основы моделей обнаружения объектов. CNN хорошо подходят для прогнозирования по изображениям, поскольку изучают иерархические визуальные признаки, такие как границы, формы и текстуры, которые помогают модели распознавать объекты в сцене.

Исследователи также изучают архитектуры компьютерного зрения на основе Transformer. Эти модели анализируют взаимосвязи между различными областями изображения и извлекают более широкую контекстную информацию обо всей сцене.

Помимо типа архитектуры модели, для обнаружения объектов на устройствах iOS крайне важна эффективность. Поскольку эти модели работают непосредственно на мобильных устройствах, им необходимо быстро обрабатывать изображения, используя ограниченные вычислительные ресурсы.

Эффективные модели обеспечивают низкую задержку и поддерживают обнаружение объектов в реальном времени в мобильных приложениях, особенно при анализе непрерывного потока с камеры.

Какие характеристики делают модель обнаружения объектов подходящей для iOS?#

Прежде чем перейти к рассмотрению некоторых лучших моделей обнаружения объектов для iOS, давай остановимся и разберёмся, какие характеристики делают модель подходящей для мобильных приложений.

Идеальная модель обнаружения объектов для приложения iOS сочетает производительность, эффективность и надёжность. Вот ключевые факторы, определяющие хорошую модель для развёртывания на iOS:

• Низкая задержка: модель должна быстро обрабатывать изображения для поддержки обнаружения объектов в реальном времени, особенно в приложениях, использующих непрерывный поток с камеры.
• Эффективный размер модели: компактные модели эффективнее работают на мобильных устройствах и обычно требуют меньше памяти и вычислительных ресурсов.
• Точность обнаружения: точное обнаружение гарантирует правильную классификацию объектов и сохранение точности ограничивающих рамок в разных сценах, при различных размерах объектов и условиях освещения.
• Стабильность вывода: стабильное время вывода между кадрами важно для приложений, работающих в реальном времени. Значительные колебания времени обработки могут приводить к пропуску кадров или нестабильной работе камеры.
• Объём используемой памяти: объём RAM, необходимый во время вывода, влияет на плавность работы модели одновременно с другими процессами приложения на устройствах iOS.

Обзор лучших моделей обнаружения объектов для iOS#

Далее рассмотрим некоторые из наиболее широко используемых моделей обнаружения объектов для устройств iOS.

1. Модели Ultralytics YOLO#

Модели Ultralytics YOLO — популярное семейство моделей обнаружения объектов, предназначенных для приложений компьютерного зрения, работающих в реальном времени. За прошедшие годы Ultralytics выпустила такие модели компьютерного зрения, как Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 и новейшую передовую модель — Ultralytics YOLO26.

Каждый новый выпуск приносил улучшения в точности обнаружения, эффективности модели и производительности во время выполнения. Благодаря этим обновлениям модели Ultralytics YOLO стали ещё лучше подходить для периферийных устройств, таких как смартфоны.

Рис. 2. YOLO26 можно использовать для обнаружения нескольких объектов в реальной сцене. (Источник)

Одно из ключевых преимуществ использования моделей Ultralytics YOLO в приложениях iOS — интеграция с CoreML, предоставляемая через пакет Ultralytics Python. Эта библиотека с открытым исходным кодом помогает разработчикам обучать, тестировать и экспортировать модели Ultralytics YOLO с помощью простого рабочего процесса.

Пакет поддерживает экспорт обученных моделей в CoreML — формат машинного обучения Apple, используемый для развёртывания моделей на устройствах iOS. После экспорта модель CoreML можно интегрировать в приложение и запускать непосредственно на устройстве с использованием CPU, GPU и Apple Neural Engine.

Рис. 3. CoreML — это фреймворк Apple для интеграции и запуска AI-моделей в приложениях. (Источник)

Это упрощает интеграцию обнаружения объектов в реальном времени в приложения iOS, позволяя выполнять вывод модели непосредственно на устройстве.

Варианты развёртывания моделей Ultralytics YOLO на Apple Silicon#

Помимо самих моделей, экосистема Ultralytics предлагает множество вариантов, упрощающих развёртывание моделей YOLO на чипах Apple Silicon.

Например, недавно Ultralytics представила Ultralytics Platform, объединяющую управление наборами данных, обучение, валидацию и развёртывание моделей в единой среде. Этот унифицированный рабочий процесс уменьшает необходимость в использовании нескольких инструментов и упрощает путь от экспериментов до реальных приложений.

В рамках платформы обученные модели можно экспортировать в несколько форматов, включая CoreML для устройств Apple. Благодаря этому модель Ultralytics YOLO можно экспортировать для вывода непосредственно на устройстве всего за несколько нажатий.

Помимо возможностей экспорта, Ultralytics предоставляет реализацию с открытым исходным кодом на Swift (языке программирования Apple для создания приложений iOS). Она включает готовое к использованию приложение YOLO для iOS, написанное на Swift, которое демонстрирует интеграцию моделей CoreML, их запуск на входных данных с камеры и использование для обнаружения объектов в реальном времени.

Дополнительные преимущества моделей Ultralytics YOLO#

Вот ещё несколько ключевых характеристик, благодаря которым модели Ultralytics YOLO отлично подходят для создания приложений iOS:

• Поддержка широкого спектра задач компьютерного зрения: помимо обнаружения объектов, модели Ultralytics YOLO можно использовать для сегментации экземпляров, оценки позы, отслеживания объектов, обнаружения объектов с ориентированными ограничивающими рамками (OBB) и классификации изображений.
• Несколько размеров моделей: Ultralytics предоставляет разные варианты моделей (например, nano, small, medium, large и extra-large), позволяя разработчикам выбрать версию, соответствующую ограничениям производительности мобильных устройств.
• Предобученные модели: модели Ultralytics YOLO доступны в предобученном виде: их можно использовать сразу или дообучить для конкретных задач, сократив время разработки.

2. EfficientDet#

EfficientDet — архитектура обнаружения объектов, представленная исследователями Google в 2019 году. Она разработана для баланса между точностью обнаружения и вычислительной эффективностью, благодаря чему подходит для сред с ограниченными ресурсами.

Ключевая идея EfficientDet — метод масштабирования, известный как составное масштабирование. Вместо увеличения только одной части модели, например глубины сети или разрешения изображения, этот подход одновременно масштабирует несколько компонентов архитектуры.

Одновременная настройка этих элементов позволяет модели сохранять стабильную производительность как при конфигурации для высокой точности, так и при оптимизации для облегчённых развёртываний.

Архитектура доступна в нескольких вариантах — от EfficientDet-D0 до EfficientDet-D7. Меньшие модели рассчитаны на более быстрый вывод и меньшее потребление ресурсов, тогда как более крупные версии ориентированы на достижение большей точности обнаружения.

3. MobileNet SSD#

MobileNet SSD — облегчённая модель обнаружения объектов, предназначенная для эффективной работы на мобильных и периферийных устройствах. Она приобрела популярность примерно в 2017 году.

Модель объединяет основу MobileNet, ориентированную на эффективное извлечение признаков, с подходом SSD (Single Shot Detector) для обнаружения объектов. Метод SSD обнаруживает объекты и создаёт ограничивающие рамки за один прямой проход.

Такая конструкция делает модель относительно быстрой и простой, что полезно для приложений, которым нужны быстрые результаты обнаружения. MobileNet SSD часто используется в ситуациях, где важны небольшой размер модели и высокая скорость вывода.

Архитектура MobileNet уменьшает объём необходимых вычислений, благодаря чему модель проще запускать на устройствах с ограниченной вычислительной мощностью. Хотя MobileNet SSD может уступать некоторым более новым архитектурам обнаружения по точности, она по-прежнему хорошо справляется со многими распространёнными задачами обнаружения объектов.

4. CenterNet#

CenterNet — модель обнаружения объектов, которая находит объекты, предсказывая их центральные точки. Она была представлена в 2019 году.

Вместо создания множества候选ных областей модель обнаруживает центр объекта, а затем предсказывает размер ограничивающей рамки вокруг него. Такой подход упрощает конвейер обнаружения и уменьшает количество этапов, необходимых во время вывода.

Рис. 4. Обзор этапов обнаружения объектов в CenterNet (Источник)

CenterNet можно использовать для задач обнаружения в реальном времени. По сравнению с некоторыми многоэтапными детекторами модель известна относительно простой архитектурой. Варианты CenterNet с основами ResNet широко применяются в различных задачах компьютерного зрения.

Благодаря эффективной конструкции CenterNet подходит для систем, которым требуется быстрое обнаружение объектов, включая приложения, работающие на устройствах iOS.

5. NanoDet#

NanoDet — облегчённая модель обнаружения объектов, предназначенная для приложений, работающих в реальном времени на периферийных и мобильных устройствах. Она была представлена в 2020 году с целью обеспечить эффективное обнаружение объектов при сохранении очень малого размера модели и низких вычислительных требований.

Модель использует одноэтапную архитектуру обнаружения, что позволяет предсказывать местоположение и категории объектов за один проход через сеть. Такая конструкция обеспечивает высокую скорость модели и делает её подходящей для систем с ограниченными аппаратными ресурсами.

NanoDet использует компактную основу и оптимизированную голову обнаружения, чтобы уменьшить количество параметров и объём вычислений, необходимых во время вывода. Эти конструктивные решения помогают сохранять приемлемую точность обнаружения, отдавая приоритет скорости и эффективности.

Выбор подходящей модели обнаружения объектов для приложения iOS#

Выбор модели обнаружения объектов для приложения iOS часто зависит от конкретных требований сценария использования. Поскольку эти модели работают непосредственно на таких устройствах, как iPhone и iPad, на выбор оптимального варианта влияют несколько факторов.

Вот несколько важных аспектов:

• Энергоэффективность: модели, потребляющие меньше энергии, помогают сохранить заряд батареи, что важно для мобильных приложений, постоянно обрабатывающих данные с камеры.
• Поддержка оптимизации модели : некоторые модели поддерживают такие методы оптимизации, как квантование или прореживание, которые могут уменьшить размер модели и повысить производительность на устройствах iOS.
• Совместимость с оборудованием: выбранная архитектура модели должна эффективно работать на оборудовании iOS, включая CPU, GPU и Neural Engine Apple.
• Масштабируемость: некоторые архитектуры предлагают модели разных размеров или вариантов, позволяя разработчикам выбирать версии, лучше всего соответствующие требованиям к производительности и оборудованию.

Основные выводы#

Модели обнаружения объектов привносят передовые возможности компьютерного зрения в интеллектуальные мобильные приложения. Работая непосредственно на устройствах iOS, эти модели позволяют приложениям анализировать изображения и видео с камеры устройства в реальном времени. Выбрав подходящую модель, разработчики могут создавать отзывчивые мобильные приложения на основе компьютерного зрения, обеспечивающие надёжную производительность в реальном времени.

Присоединяйся к нашему растущему сообществу и изучай наш репозиторий на GitHub, чтобы находить практические ресурсы по ИИ. Чтобы уже сегодня создавать решения на основе визуального ИИ, изучи наши варианты лицензирования. Узнай, как ИИ в сельском хозяйстве меняет фермерство и как визуальный ИИ в робототехнике формирует будущее, посетив страницы наших решений.