Лучшие модели обнаружения объектов для приложений iOS на чипах Apple Silicon

Устройства Android и iPhone стали неотъемлемой частью повседневной жизни. Люди используют их, чтобы делать покупки, прокладывать маршруты, фотографировать, сканировать товары и в течение дня взаимодействовать с приложениями.

Благодаря стремительному развитию искусственного интеллекта многие смартфоны теперь оснащены функциями, которые распознают изображения и видео, снятые камерой устройства. Эффективная работа этих функций во многом зависит от аппаратного обеспечения.

Например, в экосистеме Apple такие устройства, как iPhone, iPad и Mac, работают на чипах Apple Silicon, включая серии A и M. Эти системы на кристалле (SoC) объединяют центральные процессоры (CPU), графические процессоры (GPU) и специализированные ускорители машинного обучения, позволяя выполнять вывод ИИ непосредственно на устройстве.

В частности, возможности анализа изображений стали доступны благодаря компьютерному зрению — области ИИ, которая позволяет машинам интерпретировать и понимать визуальную информацию на изображениях и видео с помощью таких задач, как обнаружение объектов.

В частности, модели обнаружения объектов анализируют изображения и распознают объекты, обводя их ограничивающими рамками. Эти модели можно оптимизировать для эффективной работы на мобильном оборудовании, например на чипах Apple Silicon, что позволяет выполнять анализ изображений в реальном времени непосредственно на устройствах iOS.

Рис. 1. Пример обнаружения объектов: объекты выделены ограничивающими рамками. (Источник)

В этой статье мы рассмотрим лучшие модели обнаружения объектов для создания быстрых приложений iOS, работающих в реальном времени. Приступим!

Как работают детекторы объектов на устройствах iOS#

Обнаружение объектов помогает приложениям распознавать объекты на изображении и определять их местоположение. Когда приложение обрабатывает входное изображение, модель обнаружения объектов анализирует сцену и распознаёт разные объекты, выделяя их ограничивающими рамками и присваивая им метки.

Большинство систем обнаружения объектов основаны на нейронных сетях, способных распознавать закономерности в обучающих данных. Для работы с изображениями эти модели учатся формировать визуальные представления, анализируя пиксельную информацию из больших обучающих наборов данных.

Свёрточные нейронные сети (CNNs) часто используют в качестве базовой архитектуры моделей обнаружения объектов. CNNs хорошо подходят для предсказания по изображениям, поскольку учатся выделять иерархические визуальные признаки, такие как границы, формы и текстуры, которые помогают модели распознавать объекты в сцене.

Исследователи также изучают архитектуры на основе Transformer для задач компьютерного зрения. Такие модели анализируют взаимосвязи между разными областями изображения и улавливают более широкий контекст сцены.

Помимо типа архитектуры модели, для обнаружения объектов на устройствах iOS крайне важна эффективность. Поскольку такие модели работают непосредственно на мобильных устройствах, им нужно быстро обрабатывать изображения, используя ограниченные вычислительные ресурсы.

Эффективные модели отличаются низкой задержкой и обеспечивают обнаружение объектов в реальном времени в мобильных приложениях, особенно при анализе непрерывного потока с камеры.

Какая модель обнаружения объектов хорошо подходит для iOS?#

Прежде чем перейти к лучшим моделям обнаружения объектов для iOS, давай сначала разберёмся, что делает модель подходящей для мобильных приложений.

Оптимальная модель обнаружения объектов для приложения iOS сочетает производительность, эффективность и надёжность. Вот ключевые факторы, определяющие, насколько модель подходит для развёртывания на iOS:

• Низкая задержка: модель должна быстро обрабатывать изображения для обнаружения объектов в реальном времени, особенно в приложениях, использующих непрерывный поток с камеры.
• Эффективный размер модели: компактные модели эффективнее работают на мобильных устройствах и обычно требуют меньше памяти и вычислительных ресурсов.
• Точность обнаружения: высокая точность гарантирует правильную классификацию объектов и точное расположение ограничивающих рамок в разных сценах, при разных масштабах объектов и условиях освещения.
• Стабильность инференса: для приложений реального времени важно, чтобы время инференса оставалось одинаковым для разных кадров. Значительные колебания времени обработки могут приводить к пропуску кадров или нестабильной работе камеры.
• Объём используемой памяти: количество оперативной памяти, необходимое во время инференса, влияет на то, насколько плавно модель работает параллельно с другими процессами приложений на устройствах iOS.

Лучшие модели обнаружения объектов для iOS#

Теперь рассмотрим некоторые из самых популярных моделей обнаружения объектов для устройств iOS.

1. Модели Ultralytics YOLO#

Модели Ultralytics YOLO — популярное семейство моделей обнаружения объектов для приложений компьютерного зрения, работающих в реальном времени. За прошедшие годы Ultralytics выпустила такие модели компьютерного зрения, как Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 и новейшую передовую модель — Ultralytics YOLO26.

Каждый новый выпуск приносил улучшения точности обнаружения, эффективности модели и производительности при выполнении. Благодаря этим обновлениям модели Ultralytics YOLO всё лучше подходят для периферийных устройств, например смартфонов.

Рис. 2. YOLO26 можно использовать для обнаружения нескольких объектов в реальной сцене. (Источник)

Одно из главных преимуществ использования моделей Ultralytics YOLO в приложениях iOS — интеграция с CoreML, доступная через пакет Ultralytics для Python. Эта библиотека с открытым исходным кодом помогает разработчикам обучать, тестировать и экспортировать модели Ultralytics YOLO с помощью простого рабочего процесса.

Пакет позволяет экспортировать обученные модели в CoreML — формат машинного обучения Apple, используемый для развёртывания моделей на устройствах iOS. После экспорта модель CoreML можно интегрировать в приложение и запускать непосредственно на устройстве с использованием такого оборудования, как CPU, GPU и Apple Neural Engine.

Рис. 3. CoreML — фреймворк Apple для интеграции моделей ИИ в приложения и их запуска. (Источник)

Благодаря этому разработчикам легко интегрировать обнаружение объектов в реальном времени в приложения iOS, сохраняя инференс модели непосредственно на устройстве.

Варианты развёртывания моделей Ultralytics YOLO на Apple Silicon#

Помимо самих моделей, экосистема Ultralytics предлагает различные варианты, упрощающие развёртывание моделей YOLO на чипах Apple Silicon.

Например, недавно Ultralytics представила Ultralytics Platform, объединяющую управление наборами данных, обучение моделей, валидацию и развёртывание в одной среде. Этот единый рабочий процесс сокращает потребность в нескольких инструментах и помогает упростить путь от экспериментов до реальных приложений.

В рамках платформы обученные модели можно экспортировать в разные форматы, включая CoreML для устройств Apple. Благодаря этому модель Ultralytics YOLO можно экспортировать для инференса непосредственно на устройстве всего за несколько нажатий.

Помимо возможностей экспорта, Ultralytics предоставляет реализацию для iOS с открытым исходным кодом на Swift (языке программирования Apple для создания приложений iOS). Она включает готовое к использованию приложение YOLO для iOS на Swift, демонстрирующее, как интегрировать модели CoreML, запускать их на видеопотоке с камеры и использовать для обнаружения объектов в реальном времени.

Дополнительные преимущества моделей Ultralytics YOLO#

Вот ещё несколько ключевых особенностей, благодаря которым модели Ultralytics YOLO отлично подходят для создания приложений iOS:

• Поддержка широкого спектра задач компьютерного зрения: помимо обнаружения объектов, модели Ultralytics YOLO можно использовать для сегментации экземпляров, оценки позы, отслеживания объектов, обнаружения объектов с ориентированными ограничивающими рамками (OBB) и классификации изображений.
• Несколько размеров моделей: Ultralytics предлагает разные варианты моделей (например, nano, small, medium, large и extra-large), позволяя разработчикам выбрать версию, соответствующую ограничениям производительности мобильных устройств.
• Предварительно обученные модели: модели Ultralytics YOLO доступны в предварительно обученном виде: их можно использовать сразу или дообучить для конкретных задач, сократив время разработки.

2. EfficientDet#

EfficientDet — архитектура обнаружения объектов, представленная исследователями Google в 2019 году. Она разработана для баланса между точностью обнаружения и вычислительной эффективностью, что делает её подходящей для сред с ограниченными ресурсами.

Ключевая идея EfficientDet — метод масштабирования, известный как составное масштабирование. Вместо увеличения только одной части модели, например глубины сети или разрешения изображения, этот подход одновременно масштабирует несколько компонентов архитектуры.

Одновременная настройка этих параметров позволяет модели сохранять стабильную производительность как при конфигурации, ориентированной на высокую точность, так и при оптимизации для лёгкого развёртывания.

Архитектура доступна в нескольких вариантах — от EfficientDet-D0 до EfficientDet-D7. Меньшие модели рассчитаны на более быстрый инференс и меньшее потребление ресурсов, а более крупные версии ориентированы на повышение точности обнаружения.

3. MobileNet SSD#

MobileNet SSD — облегчённая модель обнаружения объектов, разработанная для эффективной работы на мобильных и периферийных устройствах. Она стала популярной примерно в 2017 году.

Модель сочетает базовую архитектуру MobileNet, предназначенную для эффективного извлечения признаков, с подходом SSD (детектор за один проход) для обнаружения объектов. Метод SSD обнаруживает объекты и формирует ограничивающие рамки за один прямой проход.

Такая конструкция делает модель относительно быстрой и простой, что полезно для приложений, которым нужно быстро получать результаты обнаружения. MobileNet SSD часто используют в ситуациях, где важны компактный размер модели и высокая скорость инференса.

Архитектура MobileNet сокращает объём необходимых вычислений, благодаря чему модель проще запускать на устройствах с ограниченными вычислительными возможностями. Хотя MobileNet SSD может уступать некоторым более новым архитектурам обнаружения по точности, она по-прежнему хорошо справляется со многими распространёнными задачами обнаружения объектов.

4. CenterNet#

CenterNet — модель обнаружения объектов, которая распознаёт объекты, предсказывая их центральные точки. Она была представлена в 2019 году.

Вместо генерации множества кандидатов на области модель обнаруживает центр объекта, а затем предсказывает размер ограничивающей рамки вокруг него. Такой подход упрощает процесс обнаружения и сокращает число этапов инференса.

Рис. 4. Обзор этапов обнаружения объектов в CenterNet (Источник)

CenterNet можно использовать для задач обнаружения в реальном времени. По сравнению с некоторыми многоэтапными детекторами модель известна относительно простой архитектурой. В различных приложениях компьютерного зрения часто используют варианты CenterNet с базовыми архитектурами ResNet.

Эффективная архитектура CenterNet подходит для систем, которым требуется быстрое обнаружение объектов, в том числе для приложений на устройствах iOS.

5. NanoDet#

NanoDet — облегчённая модель обнаружения объектов, разработанная для приложений реального времени на периферийных и мобильных устройствах. Она была представлена в 2020 году с целью обеспечить эффективное обнаружение объектов при минимальных размере модели и вычислительных требованиях.

Модель использует одноэтапную архитектуру обнаружения, позволяющую предсказывать расположение и классы объектов за один проход через сеть. Благодаря этому модель работает быстро и подходит для систем с ограниченными аппаратными ресурсами.

NanoDet использует компактную базовую архитектуру и оптимизированную голову детектора, чтобы уменьшить количество параметров и вычислений, необходимых во время инференса. Такие решения помогают сохранять приемлемую точность обнаружения, уделяя приоритетное внимание скорости и эффективности.

Как выбрать подходящую модель обнаружения объектов для приложения iOS#

Выбор модели обнаружения объектов для приложения iOS часто зависит от конкретных требований сценария использования. Поскольку такие модели работают непосредственно на устройствах, например iPhone и iPad, на выбор оптимального варианта влияет несколько факторов.

Вот несколько важных критериев:

• Энергоэффективность: модели с низким энергопотреблением помогают продлить время работы от аккумулятора, что особенно важно для мобильных приложений, непрерывно обрабатывающих изображение с камеры.
• Поддержка оптимизации модели: некоторые модели поддерживают такие методы оптимизации, как квантование и прореживание, которые помогают уменьшить размер модели и повысить производительность на устройствах iOS.
• Совместимость с оборудованием: выбранная архитектура модели должна эффективно работать на оборудовании iOS, включая CPU, GPU и Neural Engine от Apple.
• Масштабируемость: некоторые архитектуры предлагают несколько размеров или вариантов моделей, позволяя разработчикам выбирать версии, которые лучше соответствуют требованиям к производительности и оборудованию.

Главные выводы#

Модели обнаружения объектов обеспечивают мобильным приложениям расширенные возможности компьютерного зрения. Работая непосредственно на устройствах iOS, такие модели позволяют приложениям анализировать изображения и видео с камеры устройства в реальном времени. Выбрав подходящую модель, разработчики могут создавать отзывчивые мобильные приложения на основе компьютерного зрения с надёжной производительностью в реальном времени.

Присоединяйся к нашему растущему сообществу и изучай наш репозиторий на GitHub, где собраны практические ресурсы по ИИ. Чтобы уже сегодня создавать решения на основе визуального ИИ, изучи наши варианты лицензирования. Узнай, как ИИ в сельском хозяйстве меняет фермерское хозяйство и как визуальный ИИ в робототехнике формирует будущее, посетив страницы наших решений.