Интеграция моделей Ultralytics YOLO в reCamera от Seeed Studio

Мы рады начать год с партнерства с Seeed Studio, в рамках которого выходит новая инновационная разработка для компьютерного зрения — reCamera. Это камера с открытым исходным кодом на базе ИИ для задач компьютерного зрения в реальном времени. Благодаря встроенной поддержке моделей Ultralytics YOLO reCamera получилась компактной и настраиваемой, что упрощает разработчикам и создателям воплощение проектов с ИИ для компьютерного зрения.

Впервые reCamera представили сообществу ИИ на YOLO Vision 2024 (YV24) — ежегодном гибридном мероприятии Ultralytics, посвященном новым разработкам и сотрудничеству в области ИИ для компьютерного зрения.

На мероприятии мы были рады приветствовать Элейн Ву, руководителя команды по робототехнике и ИИ в Seeed Studio, которая выступила с содержательным докладом о впечатляющих возможностях reCamera. Она описала устройство как результат продуманной и кропотливой работы и сказала: «Мы предусмотрели всё, что может тебе понадобиться».

Рис. 1. Элейн Ву выступила на сцене YV24 удалённо.

В этой статье мы вернемся к ключевому докладу Elaine Wu на YOLO Vision 2024 и подробнее расскажем о reCamera, созданной в сотрудничестве Seeed Studio и Ultralytics, ее функциях и практическом применении.

Инновации Seeed Studio в области компьютерного зрения на базе ИИ#

Элейн начала выступление с рассказа о Seeed Studio — компании, которая с 2008 года специализируется на Интернете вещей (IoT) и аппаратных решениях для ИИ. Она объяснила, что Seeed Studio предоставляет разработчикам инструменты для всего — от небольших прототипов до высокопроизводительных систем, таких как NVIDIA Jetson, — помогая воплощать идеи в жизнь.

За эти годы Seeed Studio помогла более чем 200 000 разработчиков создавать решения, объединяющие ИИ и Интернет вещей. Elaine также рассказала, как Seeed сотрудничает с производителями чипов, разработчиками программного обеспечения и сообществом разработчиков, создавая настраиваемые решения.

Рис. 2. Элейн Ву рассказала об истории и опыте Seeed Studio.

Представляем reCamera#

Представив Seeed Studio, Elaine Wu показала новейший продукт компании — reCamera, созданную совместно с Ultralytics. Официально представленная на YV24, reCamera — это гибкая, модульная и доступная камера с ИИ и встроенной поддержкой YOLO. Лицензия Ultralytics дает Seeed Studio право интегрировать модели Ultralytics YOLO в reCamera, обеспечивая конечным пользователям соответствующую требованиям работу ИИ непосредственно на устройстве. Камера разработана в ответ на растущую потребность в инструментах компьютерного зрения для работы в реальном времени в самых разных приложениях.

Elaine представила reCamera не просто как устройство, а как платформу, которую разработчики, создатели и компании могут настраивать и развивать. Открытый исходный код позволяет Seeed Studio поощрять сообщество ИИ к созданию решений под собственные задачи — для Интернета вещей, робототехники или промышленности.

Рис. 3. reCamera — компактная камера с ИИ и открытым исходным кодом.

«Мы определяем её как гибкую платформу Vision AI, которая позволяет каждому создавать собственную камеру», — отметила Элейн. Она подчеркнула, что модульная конструкция и доступная цена reCamera делают компьютерное зрение на базе ИИ доступным для всех и открывают новые возможности для инноваций в самых разных отраслях.

Основные возможности reCamera от Seeed Studio#

Что же на самом деле означает, когда мы называем reCamera первой программируемой камерой с ИИ и открытым исходным кодом? Конструкция reCamera открыта, а модульная аппаратная платформа включает плату датчика, основную плату и базовую плату, которые можно настраивать. Устройство дает разработчикам возможность легко адаптировать его под свои задачи. Кроме того, оно изначально поддерживает модели Ultralytics YOLO, поэтому возможности компьютерного зрения YOLO доступны сразу после распаковки.

Встроенная поддержка позволяет полностью оптимизировать reCamera для запуска моделей YOLO, например Ultralytics YOLOv8 и Ultralytics YOLO11, без настройки и проблем с совместимостью. Модели Ultralytics уже установлены и готовы к развёртыванию, поэтому не нужны дополнительные действия — например, интеграция программного обеспечения или оплата дополнительных расходов. Разработчики могут сосредоточиться на создании приложений.

reCamera поможет быстро приступить к работе — разрабатываешь ли ты решения AIoT, работаешь с робототехникой или занимаешься проектом в области компьютерного зрения.

Чем reCamera отличается от традиционных IP-камер#

Элейн Ву также подробнее рассказала о технических преимуществах reCamera и о том, как камера преодолевает ограничения традиционных IP-камер (камер с интернет-протоколом).

В отличие от обычных камер, которым для обработки видео и запуска моделей ИИ часто требуется внешнее оборудование, например мини-ПК или серверы, reCamera объединяет всё необходимое в одном компактном устройстве.

Автономная конструкция упрощает развёртывание и избавляет от необходимости в дополнительных устройствах. Камера полностью программируема, поэтому пользователи могут запускать модели ИИ непосредственно на устройстве, не полагаясь на отдельный хост-компьютер. Это делает её более эффективным и универсальным решением.

Технические особенности reCamera на базе ИИ#

В основе reCamera лежит процессор SG200X на архитектуре RISC-V. Он специально разработан для периферийных приложений ИИ: обеспечивает высокую производительность при минимальном энергопотреблении.

Поддерживаются видеотехнологии H.264 и H.265, сжимающие видеофайлы для экономии места и пропускной способности. Дополнительные функции, такие как съемка с расширенным динамическим диапазоном (HDR), трехмерное шумоподавление и коррекция объектива, обеспечивают четкое и профессиональное изображение даже в сложных условиях.

Процессор выполняет 1 триллион операций в секунду (1 TOPS) и справляется с ресурсоёмкими задачами, например обнаружением объектов в реальном времени, а менее мощный 8-битный микроконтроллер обрабатывает простые операции, экономя энергию.

reCamera также выделяется модульной конструкцией, состоящей из трёх основных частей: основной платы, платы датчиков и базовой платы. Разработчики могут легко заменять и обновлять компоненты.

Рис. 4. Три взаимозаменяемые платы: основная плата, плата датчика и базовая плата.

Например, можно заменить датчик камеры на более разрешающий или добавить дополнительное оборудование, например микрофоны или дисплеи. Базовая плата поддерживает гибкие варианты подключения, включая USB, Ethernet и более продвинутые интерфейсы, такие как питание через Ethernet (PoE) и RS-485, поэтому её можно адаптировать для самых разных задач.

Применение компьютерного зрения в reCamera#

reCamera — надёжный инструмент для множества практических задач. Передовые возможности компьютерного зрения и гибкость делают её отличным выбором для разработчиков и компаний, которые хотят интегрировать решения на базе ИИ в свои проекты.

Рис. 5. reCamera можно использовать в самых разных приложениях компьютерного зрения на базе ИИ.

Среди основных сфер применения:

• Робототехника: ее можно интегрировать с роботизированными манипуляторами, дронами и карданными подвесами для таких задач, как навигация, отслеживание объектов и автоматизация, повышая интеллектуальность и эффективность операций.
• Промышленное применение: reCamera помогает контролировать производственные линии, сортировать объекты и обнаруживать аномалии, повышая эффективность производства и логистики.
• Умный дом: камера может использоваться в видеодомофонах, умных замках и домашних системах безопасности, обеспечивая обнаружение объектов и распознавание лиц в реальном времени для повышения безопасности и удобства.
• Безопасность: эта разработка может улучшить системы видеонаблюдения благодаря высококачественным видеопотокам и надёжному мониторингу на базе ИИ, подходящему для жилых и коммерческих помещений.

Благодаря гибкости, компактным размерам и простоте интеграции reCamera помогает создавать эффективные решения на базе ИИ для самых разных задач компьютерного зрения.

Увлекательная демонстрация reCamera в реальном времени#

Elaine Wu привлекла внимание аудитории демонстрацией reCamera в реальном времени и показала, насколько просто настроить устройство и пользоваться им. С помощью Node-RED, инструмента визуального программирования, она продемонстрировала простой процесс развертывания reCamera: задать разрешение, загрузить модель YOLO и развернуть ее. Всего через несколько мгновений reCamera уже работала и точно обнаруживала объекты в реальном времени.

Во время демонстрации reCamera быстро распознала повседневные предметы на столе Elaine: бутылку, чашку и пульт. Elaine объяснила, что встроенная интеграция с моделями Ultralytics YOLO обеспечивает быструю и надежную работу устройства. Поэтому reCamera отлично подходит разработчикам, которым нужен простой способ внедрить ИИ для компьютерного зрения без программирования.

Она также отметила гибкость reCamera в настройке качества видео и других параметров. Устройство поддерживает запись с разрешением до 2K, а обновление датчика позволяет ещё больше повысить производительность.

Новые возможности для разработчиков ИИ благодаря reCamera#

Завершая выступление на YV24, Элейн Ву призвала сообщество разработчиков изучить платформу reCamera с открытым исходным кодом. На GitHub уже доступны схемы аппаратного обеспечения и ОС reCamera, а в будущем планируется опубликовать проекты приложений.

Рис. 6. Это сотрудничество открывает перед разработчиками новые возможности.

reCamera — важный шаг к упрощению развёртывания моделей ИИ: модели Ultralytics YOLO уже установлены, а разработчики могут свободно настраивать решения без навыков программирования. Цель проекта reCamera — создать экосистему сотрудничества, которая вдохновляет на инновации и открывает новые возможности в области компьютерного зрения на базе ИИ.

Главные выводы#

reCamera, созданная Seeed Studio совместно с Ultralytics, — это аппаратное решение со встроенной интеграцией моделей YOLO. Оно упрощает развертывание предварительно установленных моделей в производственной среде и предлагает разработчикам четыре универсальные версии для разных задач. Это сотрудничество — важный шаг к тому, чтобы передовые технологии компьютерного зрения стали доступнее и лучше адаптировались к широкому кругу приложений.

Больше информации об ИИ и его применении ты найдешь в нашем репозитории на GitHub и сообществе. Также изучи страницы наших решений для таких областей, как ИИ для беспилотного вождения и сельское хозяйство.