Лучшие модели обнаружения объектов для приложений iOS на чипах Apple silicon

Android-устройства и iPhone стали повседневной необходимостью. Люди используют их для покупок, навигации, съемки фотографий, сканирования товаров и взаимодействия с приложениями в течение всего дня.

С быстрым развитием искусственного интеллекта многие смартфоны теперь оснащены функциями, которые могут распознавать изображения и видео, снятые камерой устройства. Способность эффективно выполнять эти задачи во многом зависит от аппаратного обеспечения.

Например, в экосистеме Apple такие устройства, как iPhone, iPad и Mac, работают на чипах Apple Silicon, включая серии A и M. Эти архитектуры «система на кристалле» (SoC) объединяют центральные процессоры (CPU), графические процессоры (GPU) и специализированные ускорители машинного обучения, что обеспечивает выполнение вывода ИИ прямо на устройстве.

В частности, возможности анализа изображений реализуются с помощью computer vision, области искусственного интеллекта, которая позволяет машинам интерпретировать и понимать визуальную информацию из изображений и видео с помощью таких задач, как object detection.

В частности, модели обнаружения объектов анализируют изображения и идентифицируют объекты, рисуя вокруг них ограничивающие рамки (bbox). Эти модели можно оптимизировать для эффективной работы на мобильном оборудовании, например, на чипах Apple Silicon, что позволяет выполнять анализ в реальном времени прямо на устройствах iOS.

Рис. 1. Пример обнаружения объектов, где объекты определены с помощью ограничивающих рамок. (Source)

В этой статье мы рассмотрим некоторые из лучших моделей обнаружения объектов для создания быстрых iOS-приложений, работающих в реальном времени. Давай начнем!

Как детекторы объектов работают на устройствах iOS#

Обнаружение объектов помогает приложениям распознавать и находить объекты на изображении. Когда приложение обрабатывает входное изображение, модель обнаружения объектов может проанализировать сцену и идентифицировать различные объекты, помещая их в ограничивающие рамки и присваивая им метки.

Большинство систем обнаружения объектов опираются на нейронные сети, которые могут распознавать паттерны в обучающих данных. Для задач с изображениями эти модели обучаются визуальным представлениям, анализируя информацию на уровне пикселей из больших наборов данных.

Сверточные нейронные сети (CNN) часто используются в качестве основы для моделей обнаружения объектов. CNN отлично подходят для предсказаний на изображениях, потому что они изучают иерархические визуальные признаки, такие как края, формы и текстуры, которые помогают модели распознавать объекты в сцене.

Исследователи также изучают архитектуры на основе Transformer для задач компьютерного зрения. Эти модели анализируют взаимосвязи между различными областями изображения и захватывают более широкую контекстную информацию по всей сцене.

Помимо типа архитектуры модели, эффективность является важнейшим фактором при обнаружении объектов на устройствах iOS. Поскольку эти модели работают непосредственно на мобильных устройствах, они должны быстро обрабатывать изображения, используя ограниченные вычислительные ресурсы.

Эффективные модели поддерживают низкую задержку и обеспечивают обнаружение объектов в реальном времени в мобильных приложениях, особенно при анализе непрерывного потока с камеры.

Что делает модель обнаружения объектов подходящей для iOS?#

Прежде чем погрузиться в некоторые из лучших моделей обнаружения объектов для iOS, давай сделаем шаг назад и поймем, что делает модель отличной для мобильных приложений.

Идеальная модель обнаружения объектов для iOS-приложения балансирует между производительностью, эффективностью и надежностью. Вот некоторые ключевые факторы, которые определяют сильную модель для развертывания на iOS:

• Низкая задержка: модель должна быстро обрабатывать изображения для поддержки обнаружения объектов в реальном времени, особенно для приложений, которые полагаются на непрерывный ввод с камеры.
• Эффективный размер модели: компактные модели работают более эффективно на мобильных устройствах и обычно требуют меньше памяти и вычислительных ресурсов.
• Точность обнаружения: высокая точность гарантирует, что объекты правильно классифицируются, а ограничивающие рамки остаются точными в различных сценах, при разном масштабе объектов и условиях освещения.
• Стабильность вывода: постоянное время вывода между кадрами важно для приложений реального времени. Большие колебания во времени обработки могут вызвать пропуски кадров или нестабильную работу камеры.
• Использование памяти: объем оперативной памяти, требуемый во время вывода, влияет на то, насколько плавно модель работает вместе с другими процессами приложения на устройствах iOS.

Обзор лучших моделей обнаружения объектов для iOS#

Далее давай рассмотрим некоторые из наиболее широко используемых моделей обнаружения объектов для устройств iOS.

Модели Ultralytics YOLO#

Ultralytics YOLO models — это популярное семейство моделей обнаружения объектов, разработанных для приложений компьютерного зрения в реальном времени. За годы своего существования компания Ultralytics выпустила такие модели видеонаблюдения, как Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 и новейшую современную модель Ultralytics YOLO26.

Каждый новый релиз привносил улучшения в точность обнаружения, эффективность модели и производительность во время выполнения. Эти обновления сделали модели Ultralytics YOLO все более подходящими для периферийных (edge) устройств, таких как смартфоны.

Рис. 2. YOLO26 можно использовать для обнаружения нескольких объектов в реальной сцене. (Source)

Одно из главных преимуществ использования моделей Ultralytics YOLO для приложений iOS — это CoreML integration, обеспечиваемая через Ultralytics Python package. Эта библиотека с открытым исходным кодом помогает разработчикам обучать, тестировать и экспортировать модели Ultralytics YOLO с помощью простого рабочего процесса.

Пакет поддерживает экспорт обученных моделей в CoreML, формат машинного обучения Apple, используемый для развертывания models on iOS devices. После экспорта модель CoreML может быть интегрирована в приложение и запущена непосредственно на устройстве с использованием такого оборудования, как CPU, GPU и Apple Neural Engine.

Рис. 3. CoreML — это фреймворк Apple для интеграции и запуска моделей ИИ в приложениях. (Source)

Это упрощает для разработчиков интеграцию обнаружения объектов в реальном времени в iOS-приложения, сохраняя при этом вывод модели на самом устройстве.

Варианты развертывания моделей Ultralytics YOLO на Apple Silicon#

Помимо самих моделей, экосистема Ultralytics предлагает ряд опций, которые облегчают развертывание моделей YOLO на чипах Apple Silicon.

Например, компания Ultralytics недавно представила Ultralytics Platform, которая объединяет управление наборами данных, обучение моделей, валидацию и развертывание в единой среде. Этот единый рабочий процесс снижает потребность в использовании нескольких инструментов и помогает упростить путь от экспериментов к реальным приложениям.

Как часть платформы, обученные модели можно экспортировать в различные форматы, включая CoreML для устройств Apple. Это позволяет экспортировать модель Ultralytics YOLO для вывода на устройстве всего в несколько кликов.

В дополнение к возможностям экспорта Ultralytics предоставляет реализацию на Swift с открытым исходным кодом (язык программирования Apple, используемый для создания приложений iOS) для iOS. Это включает в себя готовое к использованию YOLO iOS app, написанное на Swift, которое демонстрирует, как модели CoreML могут быть интегрированы, запущены при вводе с камеры и использоваться для обнаружения объектов в реальном времени.

Дополнительные преимущества моделей Ultralytics YOLO#

Вот еще несколько ключевых характеристик, которые делают модели Ultralytics YOLO отличным вариантом для создания iOS-приложений:

• Поддержка ряда задач зрения: помимо обнаружения объектов, модели Ultralytics YOLO можно использовать для сегментации экземпляров, оценки позы, отслеживания объектов, обнаружения ориентированных ограничивающих рамок (OBB) и классификации изображений.
• Различные размеры моделей: Ultralytics предоставляет различные варианты моделей (такие как nano, small, medium, large и extra-large), позволяя разработчикам выбрать версию, соответствующую ограничениям производительности мобильных устройств.
• Предварительно обученные модели: модели Ultralytics YOLO доступны как предварительно обученные модели, которые можно использовать «из коробки» или дообучать для конкретных задач, что сокращает время разработки.

EfficientDet#

EfficientDet — это архитектура обнаружения объектов, представленная исследователями Google в 2019 году. Она была разработана для баланса точности обнаружения и вычислительной эффективности, что делает ее подходящей для сред с ограниченными ресурсами.

Ключевой идеей EfficientDet является метод масштабирования, известный как составное масштабирование. Вместо увеличения только одной части модели, такой как глубина сети или разрешение изображения, этот подход масштабирует несколько компонентов архитектуры вместе.

Регулируя эти элементы одновременно, модель сохраняет стабильную производительность, будь она настроена на высокую точность или оптимизирована для легких развертываний.

Архитектура доступна в нескольких вариантах, от EfficientDet-D0 до EfficientDet-D7. Меньшие модели предназначены для более быстрого вывода и меньшего использования ресурсов, в то время как более крупные версии ориентированы на достижение более высокой точности обнаружения.

MobileNet SSD#

MobileNet SSD — это легковесная модель обнаружения объектов, разработанная для эффективной работы на мобильных и периферийных устройствах. Она приобрела популярность примерно в 2017 году.

Модель сочетает в себе основу MobileNet, которая фокусируется на эффективном извлечении признаков, с подходом SSD (Single Shot Detector) для обнаружения объектов. Метод SSD обнаруживает объекты и генерирует ограничивающие рамки за один прямой проход.

Такая конструкция делает модель относительно быстрой и простой, что полезно для приложений, требующих быстрых результатов обнаружения. MobileNet SSD часто используется в ситуациях, когда важны меньшие размеры модели и высокая скорость вывода.

Архитектура MobileNet сокращает объем необходимых вычислений, что упрощает запуск модели на устройствах с ограниченной вычислительной мощностью. Хотя MobileNet SSD может не достигать того же уровня точности, что и некоторые более новые архитектуры обнаружения, она все же хорошо работает для многих распространенных задач обнаружения объектов.

CenterNet#

CenterNet — это модель обнаружения объектов, которая идентифицирует объекты путем предсказания их центральных точек. Она была представлена в 2019 году.

Вместо генерации множества потенциальных областей, модель обнаруживает центр объекта, а затем предсказывает размер ограничивающей рамки вокруг него. Этот подход упрощает конвейер обнаружения и сокращает количество шагов, задействованных во время вывода.

Рис. 4. Обзор этапов обнаружения объектов в CenterNet (Source)

CenterNet можно использовать для задач обнаружения в реальном времени, и он известен своей относительно простой архитектурой по сравнению с некоторыми многоэтапными детекторами. Варианты, такие как CenterNet с основами ResNet, обычно используются в различных приложениях компьютерного зрения.

Эффективная конструкция делает CenterNet подходящим для систем, требующих быстрого обнаружения объектов, включая приложения, работающие на устройствах iOS.

NanoDet#

NanoDet — это легковесная модель обнаружения объектов, разработанная для приложений реального времени на периферийных и мобильных устройствах. Она была представлена в 2020 году с целью обеспечения эффективного обнаружения объектов при сохранении очень малого размера модели и низких вычислительных требований.

Модель использует одноэтапную архитектуру обнаружения, позволяющую ей предсказывать местоположения и категории объектов за один проход через сеть. Такая конструкция сохраняет модель быстрой и подходящей для систем с ограниченными аппаратными ресурсами.

NanoDet использует компактную основу и оптимизированную «голову» обнаружения для сокращения количества параметров и вычислений, необходимых во время вывода. Эти дизайнерские решения помогают поддерживать приемлемую точность обнаружения, отдавая приоритет скорости и эффективности.

Выбор подходящей модели обнаружения объектов для твоего iOS-приложения#

Выбор модели обнаружения объектов для iOS-приложения часто зависит от конкретных требований варианта использования. Поскольку эти модели работают непосредственно на устройствах, таких как iPhone и iPad, на выбор того, какой вариант сработает лучше всего, влияет несколько факторов.

Вот некоторые важные соображения:

• Энергоэффективность: модели, потребляющие меньше энергии, помогают сохранить заряд батареи, что важно для мобильных приложений, выполняющих непрерывную обработку видео с камеры.
• Model optimization поддержка: Некоторые модели поддерживают методы оптимизации, такие как квантование или прунинг, которые могут уменьшить размер модели и повысить производительность на устройствах iOS.
• Аппаратная совместимость: выбранная архитектура модели должна эффективно работать на оборудовании iOS, включая CPU, GPU и Apple Neural Engine.
• Масштабируемость: некоторые архитектуры предоставляют несколько размеров или вариантов моделей, позволяя разработчикам выбирать версии, которые наилучшим образом соответствуют требованиям к производительности и аппаратным средствам.

Основные выводы#

Модели обнаружения объектов привносят передовые возможности компьютерного зрения в умные мобильные приложения. Запускаясь непосредственно на устройствах iOS, эти модели позволяют приложениям анализировать изображения и видео с камеры устройства в реальном времени. Выбрав правильную модель, разработчики могут создавать отзывчивые мобильные приложения на основе зрения, которые обеспечивают надежную работу в режиме реального времени.

Присоединяйся к нашему растущему сообществу и изучай наш репозиторий на GitHub в поисках практических ресурсов по ИИ. Чтобы создавать решения на базе визуального ИИ уже сегодня, ознакомься с нашими вариантами лицензирования. Узнай, как ИИ в сельском хозяйстве трансформирует земледелие и как визуальный ИИ в робототехнике формирует будущее, посетив наши страницы решений.