Интеграция моделей Ultralytics YOLO в reCamera от Seeed Studio

Мы рады начать год с партнёрства с Seeed Studio, которое ознаменовало запуск новой инновационной разработки в области компьютерного зрения — reCamera. Это AI-камера с открытым исходным кодом, предназначенная для задач компьютерного зрения в реальном времени. Благодаря встроенной поддержке моделей Ultralytics YOLO reCamera отличается компактностью и возможностью настройки, что как никогда упрощает разработчикам и создателям реализацию проектов в области ИИ для компьютерного зрения.

reCamera впервые представили сообществу специалистов по ИИ на YOLO Vision 2024 (YV24) — ежегодном гибридном мероприятии Ultralytics, посвящённом передовым инновациям и сотрудничеству в области ИИ для компьютерного зрения.

На мероприятии мы были рады выступлению Elaine Wu, руководителя команды по робототехнике и ИИ в Seeed Studio, которая провела содержательный доклад о впечатляющем потенциале reCamera. Она описала устройство как созданное с заботой и вниманием к деталям, сказав: «Мы предусмотрели для тебя любую возможность».

Рис. 1. Elaine Wu удалённо выступила на сцене YV24.

В этой статье мы вновь обратимся к докладу Elaine Wu на YOLO Vision 2024, уделив внимание инновационной reCamera — впечатляющему результату сотрудничества Seeed Studio и Ultralytics — её уникальным функциям и применению в реальных условиях.

Инновации Seeed Studio в области ИИ для компьютерного зрения#

Elaine начала своё выступление с рассказа о Seeed Studio — компании, специализирующейся на технологиях Интернета вещей (IoT) и аппаратном обеспечении для ИИ с 2008 года. Она объяснила, что Seeed Studio предоставляет разработчикам инструменты для всего спектра задач: от небольших прототипов до высокопроизводительных систем, таких как NVIDIA Jetson, помогая воплощать их идеи в жизнь.

За эти годы Seeed Studio помогла более чем 200 000 разработчиков создавать решения, в которых ИИ и IoT беспрепятственно интегрируются друг с другом. Elaine также рассказала о сотрудничестве Seeed с поставщиками кремниевых компонентов, компаниями-разработчиками ПО и всем сообществом разработчиков для создания настраиваемых решений.

Рис. 2. Elaine Wu рассказала об истории и опыте Seeed Studio.

Знакомство с reCamera#

После представления Seeed Studio Elaine Wu продемонстрировала новейшую разработку компании — reCamera, созданную в сотрудничестве с Ultralytics. Официально представленная на YV24, reCamera представляет собой гибкую, модульную и доступную камеру на базе ИИ со встроенной поддержкой YOLO. Лицензия Ultralytics предоставляет Seeed Studio право интегрировать модели Ultralytics YOLO в reCamera, обеспечивая соответствующую требованиям и бесперебойную работу ИИ непосредственно на устройстве для конечных пользователей. Устройство разработано с учётом растущей потребности в инструментах компьютерного зрения в реальном времени для широкого спектра приложений.

Elaine показала, что reCamera — это не просто устройство, а платформа, которую разработчики, энтузиасты и компании могут настраивать и развивать. Открытый исходный код позволяет Seeed Studio побуждать сообщество специалистов по ИИ создавать решения под свои задачи — будь то IoT, робототехника или промышленное применение.

Рис. 3. reCamera — небольшая AI-камера с открытым исходным кодом.

«Мы определяем её как гибкую платформу Vision AI, на основе которой каждый может разработать собственную камеру», — отметила Elaine, подчеркнув, что модульная конструкция и доступная цена reCamera делают ИИ для компьютерного зрения доступным каждому и открывают путь к инновациям в различных отраслях.

Ключевые особенности reCamera от Seeed Studio#

Итак, что на самом деле означает утверждение, что reCamera — первая программируемая AI-камера с открытым исходным кодом? reCamera имеет дизайн продукта с открытым исходным кодом и модульную аппаратную конструкцию, включающую сенсорную плату, основную плату и базовую плату, которую можно настраивать. Устройство создано так, чтобы разработчики могли легко адаптировать его под свои задачи. Кроме того, оно изначально поддерживает модели Ultralytics YOLO, обеспечивая беспрепятственное использование передовых возможностей YOLO для компьютерного зрения сразу после распаковки.

Встроенная поддержка позволяет полностью оптимизировать reCamera для запуска таких моделей YOLO, как Ultralytics YOLOv8 и Ultralytics YOLO11, без проблем с настройкой или совместимостью. Модели Ultralytics уже предустановлены и готовы к развёртыванию, поэтому дополнительные шаги, такие как интеграция ПО или дополнительные расходы, не требуются — разработчики могут сосредоточиться на создании своих приложений.

Разрабатываешь ли ты решения AIoT, работаешь с робототехникой или занимаешься любым проектом в области компьютерного зрения, reCamera поможет быстро и без лишних усилий приступить к работе.

Чем reCamera отличается от традиционных IP-камер#

Elaine Wu также подробно рассказала о технических преимуществах reCamera и о том, как она преодолевает ограничения традиционных IP-камер (камер с интернет-протоколом).

В отличие от обычных камер, которым для обработки видео и запуска моделей ИИ часто требуется внешнее оборудование, например мини-ПК или серверы, reCamera объединяет всё необходимое в одном компактном устройстве.

Такая автономная конструкция упрощает развёртывание и устраняет необходимость в дополнительных устройствах. Камера также полностью программируема, поэтому пользователи могут запускать модели ИИ непосредственно на устройстве без отдельного хост-компьютера, получая более эффективное и универсальное решение.

Технические особенности reCamera на базе ИИ#

В основе reCamera лежит процессор SG200X, построенный на архитектуре RISC-V. Этот процессор специально разработан для приложений периферийного ИИ, обеспечивая высокую производительность при минимальном энергопотреблении.

Он поддерживает такие технологии видео, как H.264 и H.265, сжимающие видеофайлы для экономии места в хранилище и пропускной способности без потери качества. Дополнительные функции, такие как визуализация с расширенным динамическим диапазоном (HDR), трёхмерное шумоподавление и коррекция объектива, обеспечивают чёткое и профессиональное изображение даже в сложных условиях.

Способный выполнять 1 триллион операций в секунду (1 TOPS), процессор справляется с ресурсоёмкими задачами, такими как обнаружение объектов в реальном времени, а небольшой 8-битный микроконтроллер выполняет более простые операции для экономии энергии.

reCamera также выделяется модульной конструкцией, включающей три основные части: основную плату, сенсорную плату и базовую плату. Разработчики могут легко заменять и обновлять компоненты.

Рис. 4. reCamera включает три взаимозаменяемые платы: основную, сенсорную и базовую.

Например, можно заменить сенсор камеры на более высокоразрешающий или добавить дополнительное оборудование, например микрофоны или дисплеи. Базовая плата предлагает гибкие варианты подключения, включая USB, Ethernet и более продвинутые интерфейсы, такие как питание через Ethernet (PoE) и RS-485, что позволяет адаптировать устройство под различные сценарии использования.

Применение reCamera в компьютерном зрении#

reCamera — надёжный инструмент для широкого спектра практических задач. Её передовые возможности компьютерного зрения и адаптивность отлично подходят разработчикам и компаниям, которые хотят интегрировать решения на базе ИИ в свои проекты.

Рис. 5. reCamera можно использовать для различных приложений ИИ в области компьютерного зрения.

Вот некоторые из ключевых применений:

• Робототехника: reCamera можно беспрепятственно интегрировать с роботизированными манипуляторами, дронами и стабилизаторами для таких задач, как навигация, отслеживание объектов и автоматизация, обеспечивая более интеллектуальную и эффективную работу.
• Промышленное применение: reCamera может помогать контролировать производственные линии, сортировать объекты и обнаруживать аномалии, становясь ценным инструментом для повышения эффективности производства и логистики.
• Умный дом: reCamera может использоваться в видеодомофонах, умных замках и системах безопасности дома, обеспечивая обнаружение объектов и распознавание лиц в реальном времени для повышения безопасности и удобства.
• Безопасность: эта инновационная разработка может улучшить системы наблюдения благодаря высококачественным видеопотокам и надёжному мониторингу на базе ИИ, подходящему для жилых и коммерческих объектов.

Благодаря гибкости, компактным размерам и простоте интеграции reCamera помогает создавать эффективные решения на базе ИИ для самых разных задач компьютерного зрения.

Захватывающая демонстрация reCamera в реальном времени#

Elaine Wu привлекла внимание аудитории демонстрацией reCamera в реальном времени, показав, насколько легко её настроить и использовать. С помощью Node-RED — инструмента визуального программирования — она продемонстрировала простой процесс развёртывания reCamera: установить разрешение, загрузить модель YOLO и выполнить развёртывание. Всего через несколько мгновений reCamera уже работала и точно выполняла обнаружение объектов в реальном времени.

Во время демонстрации reCamera быстро распознала обычные предметы на её столе: бутылку, чашку и пульт дистанционного управления. Elaine объяснила, что благодаря беспрепятственной интеграции с моделями Ultralytics YOLO камера выдаёт быстрые и надёжные результаты, что делает её отличным вариантом для разработчиков, которым нужен простой способ внедрить ИИ для компьютерного зрения без программирования.

Она также отметила гибкость reCamera в отношении качества видео и возможностей настройки. Устройство поддерживает запись с разрешением до 2K и замену сенсора для дальнейшего повышения производительности.

Новые возможности для разработчиков ИИ благодаря reCamera#

Завершая своё выступление на YV24, Elaine Wu призвала сообщество разработчиков изучить платформу reCamera с открытым исходным кодом: схемы аппаратного обеспечения и ОС reCamera уже доступны на GitHub, а в будущем планируется выпуск дизайнов приложений.

Рис. 6. Это сотрудничество открывает перед разработчиками новые возможности.

reCamera — важный шаг к упрощению развёртывания моделей ИИ благодаря предустановленным моделям Ultralytics YOLO. Она предоставляет разработчикам свободу настройки решений без необходимости обладать навыками программирования. Цель reCamera — создать экосистему сотрудничества, вдохновляющую на инновации и открывающую новые возможности в области ИИ для компьютерного зрения.

Основные выводы#

reCamera, разработанная Seeed Studio в партнёрстве с Ultralytics, представляет собой революционное аппаратное решение со встроенной интеграцией моделей YOLO. Она упрощает развёртывание предустановленных моделей в производственных средах и предлагает разработчикам четыре универсальные версии для различных задач. Это сотрудничество — важный шаг к тому, чтобы передовые технологии компьютерного зрения стали доступнее и адаптивнее для широкого спектра приложений.

Чтобы узнать больше об ИИ и его применении, посети наш репозиторий на GitHub и присоединись к нашему сообществу. Также ознакомься со страницами наших решений, посвящёнными инновациям в таких сферах, как ИИ в беспилотном вождении и сельское хозяйство. 🚀