Roboflow о разработке на основе открытого ПО и Ultralytics YOLOv8

Вот основные выводы из выступления Джозефа Нельсона на YOLO Vision 2023 (YV23), которое прошло в кампусе Google for Startups в Мадриде.

Джозеф, сооснователь и генеральный директор Roboflow, рассказал о базовых моделях, сотрудничестве в сфере открытого ПО и Ultralytics YOLOv8. Roboflow — это платформа, которая помогает разработчикам создавать наборы данных и модели компьютерного зрения; её инструментами пользуются более четверти миллиона разработчиков.

Зачем нужно компьютерное зрение?#

Джозеф начал с объяснения того, что такое компьютерное зрение. По сути, компьютерное зрение — это область искусственного интеллекта (AI) и информатики, которая позволяет компьютерам обрабатывать изображения и видео, извлекать из них данные и информацию, а затем анализировать их по мере необходимости.

Если кратко, компьютерное зрение превращает всё, что мы видим, в программное обеспечение, что соответствует миссии сделать мир программируемым. Его применения очень разнообразны: от улучшения управления запасами в розничной торговле до создания забавных фильтров Snapchat.

Джозеф рассказал о проектах на основе компьютерного зрения. Среди них были роботы-огнемёты для уничтожения сорняков, тренажёры для кошек (с лазерной указкой!) и дроны, анализирующие аэрофотоснимки для обнаружения таких объектов, как солнечные панели. Он также привёл в пример автоматизированные контроллеры OBS и даже инструмент, который спасает от печально известного Rick Roll.

Базовые модели: новые правила игры#

В выступлении рассказывалось о переменах, связанных с базовыми моделями, и выделялись три сценария:

• Готовые модели: Можно использовать существующие модели, например CLIP от OpenAI, для таких задач, как фильтрация контента и создание подписей к изображениям. Это оптимальный вариант, когда работа в реальном времени не критична и есть доступ к значительным вычислительным ресурсам.
• Модели, которым нужна небольшая доработка: ты можешь использовать такие модели, как Grounding DINO, чтобы автоматически размечать данные и дообучать модель для конкретных задач. Это хорошо подходит, например, для идентификации видов, когда базовую модель можно адаптировать к потребностям конкретной области.
• Создание с нуля: этот подход подходит, если в твоем рабочем процессе предусмотрены сбор пользовательских данных, обучение модели и ее постоянное улучшение. Это индивидуальное решение для специализированных задач, требующих работы в реальном времени или ограниченных вычислительных ресурсов.

Раскрываем возможности Ultralytics#

Джозеф подчеркнул, что Ultralytics ускоряет рабочие процессы, упрощая создание, обучение и развёртывание моделей. Ultralytics служит центром доступа к наборам данных, моделям и другим ресурсам с открытым исходным кодом, например к своему SaaS-инструменту без кода — Ultralytics Platform.

Подводя итоги#

В заключение Джозеф призвал сообщество изучать эти инструменты, делиться опытом и продолжать формировать будущее компьютерного зрения.

Посмотри полное выступление о развёртывании Ultralytics YOLOv8 с открытым исходным кодом.