Лучшие модели обнаружения объектов для приложений iOS на чипах Apple silicon

Android-устройства и iPhone стали повседневной необходимостью. Люди используют их для покупок, навигации, съемки фотографий, сканирования товаров и взаимодействия с приложениями в течение всего дня.

С быстрым развитием искусственного интеллекта многие смартфоны теперь оснащены функциями, которые могут распознавать изображения и видео, снятые камерой устройства. Способность эффективно выполнять эти задачи во многом зависит от аппаратного обеспечения.

Например, в экосистеме Apple такие устройства, как iPhone, iPad и Mac, работают на чипах Apple Silicon, включая серии A и M. Эти архитектуры «система на кристалле» (SoC) объединяют центральные процессоры (CPU), графические процессоры (GPU) и специализированные ускорители машинного обучения, что обеспечивает выполнение вывода ИИ прямо на устройстве.

В частности, возможности анализа изображений стали возможны благодаря компьютерному зрению — области ИИ, которая позволяет машинам интерпретировать и понимать визуальную информацию из изображений и видео с помощью таких задач, как обнаружение объектов.

В частности, модели обнаружения объектов анализируют изображения и идентифицируют объекты, рисуя вокруг них ограничивающие рамки (bbox). Эти модели можно оптимизировать для эффективной работы на мобильном оборудовании, например, на чипах Apple Silicon, что позволяет выполнять анализ в реальном времени прямо на устройствах iOS.

Рис. 1. Пример обнаружения объектов с идентификацией объектов с помощью ограничивающих рамок. (Источник)

В этой статье мы рассмотрим некоторые из лучших моделей обнаружения объектов для создания быстрых iOS-приложений, работающих в реальном времени. Давай начнем!

Link to this sectionКак детекторы объектов работают на устройствах iOS#

Обнаружение объектов помогает приложениям распознавать и находить объекты на изображении. Когда приложение обрабатывает входное изображение, модель обнаружения объектов может проанализировать сцену и идентифицировать различные объекты, помещая их в ограничивающие рамки и присваивая им метки.

Большинство систем обнаружения объектов опираются на нейронные сети, которые могут распознавать паттерны в обучающих данных. Для задач с изображениями эти модели обучаются визуальным представлениям, анализируя информацию на уровне пикселей из больших наборов данных.

Сверточные нейронные сети (CNN) часто используются в качестве основы для моделей обнаружения объектов. CNN отлично подходят для предсказаний на изображениях, потому что они изучают иерархические визуальные признаки, такие как края, формы и текстуры, которые помогают модели распознавать объекты в сцене.

Исследователи также изучают архитектуры на основе Transformer для задач компьютерного зрения. Эти модели анализируют взаимосвязи между различными областями изображения и захватывают более широкую контекстную информацию по всей сцене.

Помимо типа архитектуры модели, эффективность является важнейшим фактором при обнаружении объектов на устройствах iOS. Поскольку эти модели работают непосредственно на мобильных устройствах, они должны быстро обрабатывать изображения, используя ограниченные вычислительные ресурсы.

Эффективные модели поддерживают низкую задержку и обеспечивают обнаружение объектов в реальном времени в мобильных приложениях, особенно при анализе непрерывного потока с камеры.

Link to this sectionЧто делает модель обнаружения объектов подходящей для iOS?#

Прежде чем погрузиться в некоторые из лучших моделей обнаружения объектов для iOS, давай сделаем шаг назад и поймем, что делает модель отличной для мобильных приложений.

Идеальная модель обнаружения объектов для iOS-приложения балансирует между производительностью, эффективностью и надежностью. Вот некоторые ключевые факторы, которые определяют сильную модель для развертывания на iOS:

• Низкая задержка: модель должна быстро обрабатывать изображения для поддержки обнаружения объектов в реальном времени, особенно для приложений, которые полагаются на непрерывный ввод с камеры.
• Эффективный размер модели: компактные модели работают более эффективно на мобильных устройствах и обычно требуют меньше памяти и вычислительных ресурсов.
• Точность обнаружения: высокая точность гарантирует, что объекты правильно классифицируются, а ограничивающие рамки остаются точными в различных сценах, при разном масштабе объектов и условиях освещения.
• Стабильность вывода: постоянное время вывода между кадрами важно для приложений реального времени. Большие колебания во времени обработки могут вызвать пропуски кадров или нестабильную работу камеры.
• Использование памяти: объем оперативной памяти, требуемый во время вывода, влияет на то, насколько плавно модель работает вместе с другими процессами приложения на устройствах iOS.

Link to this sectionОбзор лучших моделей обнаружения объектов для iOS#

Далее давай рассмотрим некоторые из наиболее широко используемых моделей обнаружения объектов для устройств iOS.

Link to this sectionМодели Ultralytics YOLO#

Модели Ultralytics YOLO — это популярное семейство моделей обнаружения объектов, предназначенных для приложений компьютерного зрения реального времени. С годами Ultralytics выпустила такие модели зрения, как Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 и новейшую модель современного уровня Ultralytics YOLO26.

Каждый новый релиз привносил улучшения в точность обнаружения, эффективность модели и производительность во время выполнения. Эти обновления сделали модели Ultralytics YOLO все более подходящими для периферийных (edge) устройств, таких как смартфоны.

Рис. 2. YOLO26 можно использовать для обнаружения нескольких объектов в реальной сцене. (Источник)

Одним из ключевых преимуществ использования моделей Ultralytics YOLO для iOS-приложений является интеграция CoreML, предоставляемая через пакет Ultralytics Python. Эта библиотека с открытым исходным кодом помогает разработчикам обучать, тестировать и экспортировать модели Ultralytics YOLO с помощью простого рабочего процесса.

Пакет поддерживает экспорт обученных моделей в CoreML — формат машинного обучения Apple, используемый для развертывания моделей на устройствах iOS. После экспорта модель CoreML может быть интегрирована в приложение и запущена непосредственно на устройстве с использованием оборудования, такого как CPU, GPU и Apple Neural Engine.

Рис. 3. CoreML — это фреймворк Apple для интеграции и запуска моделей ИИ внутри приложений. (Источник)

Это упрощает для разработчиков интеграцию обнаружения объектов в реальном времени в iOS-приложения, сохраняя при этом вывод модели на самом устройстве.

Link to this sectionВарианты развертывания моделей Ultralytics YOLO на Apple Silicon#

Помимо самих моделей, экосистема Ultralytics предлагает ряд опций, которые облегчают развертывание моделей YOLO на чипах Apple Silicon.

Например, Ultralytics недавно представила Ultralytics Platform, которая объединяет управление наборами данных, обучение моделей, валидацию и развертывание в единой среде. Этот унифицированный рабочий процесс сокращает потребность в использовании множества инструментов и помогает упростить путь от экспериментов до реальных приложений.

Как часть платформы, обученные модели можно экспортировать в различные форматы, включая CoreML для устройств Apple. Это позволяет экспортировать модель Ultralytics YOLO для вывода на устройстве всего в несколько кликов.

Помимо возможностей экспорта, Ultralytics предоставляет реализацию Swift (язык программирования Apple, используемый для создания iOS-приложений) с открытым исходным кодом для iOS. Она включает готовое к использованию YOLO iOS приложение, написанное на Swift, которое демонстрирует, как модели CoreML могут быть интегрированы, запущены на входных данных с камеры и использованы для обнаружения объектов в реальном времени.

Link to this sectionДополнительные преимущества моделей Ultralytics YOLO#

Вот еще несколько ключевых характеристик, которые делают модели Ultralytics YOLO отличным вариантом для создания iOS-приложений:

• Поддержка ряда задач зрения: помимо обнаружения объектов, модели Ultralytics YOLO можно использовать для сегментации экземпляров, оценки позы, отслеживания объектов, обнаружения ориентированных ограничивающих рамок (OBB) и классификации изображений.
• Различные размеры моделей: Ultralytics предоставляет различные варианты моделей (такие как nano, small, medium, large и extra-large), позволяя разработчикам выбрать версию, соответствующую ограничениям производительности мобильных устройств.
• Предварительно обученные модели: модели Ultralytics YOLO доступны как предварительно обученные модели, которые можно использовать «из коробки» или дообучать для конкретных задач, что сокращает время разработки.

Link to this sectionEfficientDet#

EfficientDet — это архитектура обнаружения объектов, представленная исследователями Google в 2019 году. Она была разработана для баланса точности обнаружения и вычислительной эффективности, что делает ее подходящей для сред с ограниченными ресурсами.

Ключевой идеей EfficientDet является метод масштабирования, известный как составное масштабирование. Вместо увеличения только одной части модели, такой как глубина сети или разрешение изображения, этот подход масштабирует несколько компонентов архитектуры вместе.

Регулируя эти элементы одновременно, модель сохраняет стабильную производительность, будь она настроена на высокую точность или оптимизирована для легких развертываний.

Архитектура доступна в нескольких вариантах, от EfficientDet-D0 до EfficientDet-D7. Меньшие модели предназначены для более быстрого вывода и меньшего использования ресурсов, в то время как более крупные версии ориентированы на достижение более высокой точности обнаружения.

Link to this sectionMobileNet SSD#

MobileNet SSD — это легковесная модель обнаружения объектов, разработанная для эффективной работы на мобильных и периферийных устройствах. Она приобрела популярность примерно в 2017 году.

Модель сочетает в себе основу MobileNet, которая фокусируется на эффективном извлечении признаков, с подходом SSD (Single Shot Detector) для обнаружения объектов. Метод SSD обнаруживает объекты и генерирует ограничивающие рамки за один прямой проход.

Такая конструкция делает модель относительно быстрой и простой, что полезно для приложений, требующих быстрых результатов обнаружения. MobileNet SSD часто используется в ситуациях, когда важны меньшие размеры модели и высокая скорость вывода.

Архитектура MobileNet сокращает объем необходимых вычислений, что упрощает запуск модели на устройствах с ограниченной вычислительной мощностью. Хотя MobileNet SSD может не достигать того же уровня точности, что и некоторые более новые архитектуры обнаружения, она все же хорошо работает для многих распространенных задач обнаружения объектов.

Link to this sectionCenterNet#

CenterNet — это модель обнаружения объектов, которая идентифицирует объекты путем предсказания их центральных точек. Она была представлена в 2019 году.

Вместо генерации множества потенциальных областей, модель обнаруживает центр объекта, а затем предсказывает размер ограничивающей рамки вокруг него. Этот подход упрощает конвейер обнаружения и сокращает количество шагов, задействованных во время вывода.

Рис. 4. Обзор этапов обнаружения объектов в архитектуре CenterNet (Источник)

CenterNet можно использовать для задач обнаружения в реальном времени, и он известен своей относительно простой архитектурой по сравнению с некоторыми многоэтапными детекторами. Варианты, такие как CenterNet с основами ResNet, обычно используются в различных приложениях компьютерного зрения.

Эффективная конструкция делает CenterNet подходящим для систем, требующих быстрого обнаружения объектов, включая приложения, работающие на устройствах iOS.

Link to this sectionNanoDet#

NanoDet — это легковесная модель обнаружения объектов, разработанная для приложений реального времени на периферийных и мобильных устройствах. Она была представлена в 2020 году с целью обеспечения эффективного обнаружения объектов при сохранении очень малого размера модели и низких вычислительных требований.

Модель использует одноэтапную архитектуру обнаружения, позволяющую ей предсказывать местоположения и категории объектов за один проход через сеть. Такая конструкция сохраняет модель быстрой и подходящей для систем с ограниченными аппаратными ресурсами.

NanoDet использует компактную основу и оптимизированную «голову» обнаружения для сокращения количества параметров и вычислений, необходимых во время вывода. Эти дизайнерские решения помогают поддерживать приемлемую точность обнаружения, отдавая приоритет скорости и эффективности.

Link to this sectionВыбор подходящей модели обнаружения объектов для твоего iOS-приложения#

Выбор модели обнаружения объектов для iOS-приложения часто зависит от конкретных требований варианта использования. Поскольку эти модели работают непосредственно на устройствах, таких как iPhone и iPad, на выбор того, какой вариант сработает лучше всего, влияет несколько факторов.

Вот некоторые важные соображения:

• Энергоэффективность: модели, потребляющие меньше энергии, помогают сохранить заряд батареи, что важно для мобильных приложений, выполняющих непрерывную обработку видео с камеры.
• Поддержка оптимизации модели: некоторые модели поддерживают методы оптимизации, такие как квантование или прунинг (отсечение), которые могут уменьшить размер модели и улучшить производительность на устройствах iOS.
• Аппаратная совместимость: выбранная архитектура модели должна эффективно работать на оборудовании iOS, включая CPU, GPU и Apple Neural Engine.
• Масштабируемость: некоторые архитектуры предоставляют несколько размеров или вариантов моделей, позволяя разработчикам выбирать версии, которые наилучшим образом соответствуют требованиям к производительности и аппаратным средствам.

Link to this sectionОсновные выводы#

Модели обнаружения объектов привносят передовые возможности компьютерного зрения в умные мобильные приложения. Запускаясь непосредственно на устройствах iOS, эти модели позволяют приложениям анализировать изображения и видео с камеры устройства в реальном времени. Выбрав правильную модель, разработчики могут создавать отзывчивые мобильные приложения на основе зрения, которые обеспечивают надежную работу в режиме реального времени.

Присоединяйся к нашему растущему сообществу и изучай наш репозиторий на GitHub для получения практических ресурсов по ИИ. Чтобы создавать проекты с визуальным ИИ уже сегодня, ознакомься с нашими вариантами лицензирования. Узнай, как ИИ в сельском хозяйстве трансформирует фермерство и как визуальный ИИ в робототехнике формирует будущее, посетив наши страницы с решениями.