Развитие компьютерного зрения с открытым исходным кодом с помощью трансформеров Hugging Face

Продолжая знакомиться с яркими моментами мероприятия YOLO VISION 2023 (YV23), давай встретимся с Мерве Ноян, инженером по взаимодействию с разработчиками в Hugging Face — ведущей NLP-платформе с предварительно обученными моделями для эффективной разработки языковых приложений. В своём докладе Мерве поделилась опытом работы в мире компьютерного зрения с открытым исходным кодом.

Вот краткий обзор её доклада о переносе обучения, трансформерах и экосистеме компьютерного зрения с открытым исходным кодом.

Трансферное обучение: краткий обзор#

Мерве начала с краткого введения в перенос обучения — метод, при котором знания переносятся из одной нейронной сети в другую. Представь, что модель обучают универсальным признакам на ранних слоях, таким как границы и углы, а затем дообучают для решения конкретных задач. В этом и заключается суть переноса обучения: он снижает зависимость от данных и повышает точность.

Мерве рассказала о классических свёрточных базовых архитектурах, таких как ResNet и Inception, подготовив почву для последующего обсуждения моделей-трансформеров.

Появление трансформеров: разгадка раскрыта#

Чем примечательны Transformer? Мерве сравнила их с загадкой, показав, чем они отличаются от традиционных моделей на основе свёрток. Одно из главных преимуществ Transformer — способность к самообучению без учителя, позволяющая извлекать признаки без размеченных данных. Среди представленных ею моделей на основе Transformer были Vision Transformer, Data-efficient Image Transformer (DeiT), CLIP и Swin Transformer.

Ultralytics также поддерживает модель-трансформер для обнаружения объектов — RT-DETR. Эта модель оснащена эффективным гибридным кодировщиком, выбором запросов с учётом IoU и регулируемой скоростью инференса. Примечательно, что она соответствует привычной структуре других моделей Ultralytics YOLOv8 и поддерживает предсказание, обучение, валидацию и экспорт.

Всё необходимое в одном месте#

Затем Мерве рассказала о предложениях Hugging Face: более 8 000 моделей для классических задач компьютерного зрения и 10 000 моделей для мультимодальных приложений. На Hugging Face Hub размещено более 3 000 наборов данных, что делает его полезным ресурсом для разработчиков и энтузиастов. Мерве подчеркнула, что единый API Hugging Face обеспечивает удобную работу и предоставляет готовые к использованию модели для самых разных задач.

Практическая работа с Hugging Face#

Далее доклад перешёл к практическим демонстрациям, показывающим, насколько просто работать с моделями. От создания экземпляров моделей и процессоров до дообучения с помощью Trainer API — Мерве наглядно показала, что библиотека Hugging Face Transformers разработана с учётом потребностей разработчиков. Она также представила Pipeline API, один из своих любимых инструментов, который упрощает рабочий процесс пользователей.

Рис. 1. Мерве Ноян выступает на YV23 в кампусе Google for Startups в Мадриде.

Примеры применения#

В завершение выступления Мерве показала несколько примеров применения: модель для визуальных вопросов и ответов, BLIP для создания подписей к изображениям и Segment Anything Model для сегментации изображений. В центре внимания оказался Pipeline API экосистемы Hugging Face, с помощью которого пользоваться моделями можно без глубокого погружения в технические детали.

Вишенкой на торте стала демонстрация Мерве: она создавала оптические иллюзии с помощью диффузионной модели. Это захватывающий опыт с неожиданным и забавным поворотом в мире ИИ.

В двух словах!#

В заключение: доклад Мерве вдохновил нас исследовать возможности компьютерного зрения с открытым исходным кодом. Hugging Face сделала ИИ доступнее и интереснее, помогая разработчикам воплощать идеи в жизнь. За будущее сообщества с открытым исходным кодом и инновации, которые оно принесёт!

Смотри полную запись выступления Hugging Face о компьютерном зрении!