Компьютерное зрение с открытым исходным кодом на базе Transformer Hugging Face

Продолжая рассказывать о ключевых моментах мероприятия YOLO VISION 2023 (YV23), давай познакомимся с Merve Noyan, инженером по взаимодействию с разработчиками в Hugging Face — ведущей платформе NLP с предварительно обученными моделями для эффективной разработки языковых приложений. В своём выступлении Merve поделилась потрясающими идеями из мира компьютерного зрения с открытым исходным кодом.

Отправляйся вместе с нами в увлекательное путешествие по миру трансферного обучения, трансформеров и экосистемы компьютерного зрения с открытым исходным кодом.

Трансферное обучение: краткий обзор#

Merve начала с краткого введения в трансферное обучение — своего рода волшебную палочку, которая позволяет переносить знания от одной нейронной сети к другой. Представь, что ты обучаешь модель на универсальных признаках на ранних слоях, таких как границы и углы, а затем дообучаешь её для решения конкретных задач. В этом и заключается суть трансферного обучения: оно снижает зависимость от объёма данных и повышает точность.

Merve рассказала о классических свёрточных магистралях, таких как ResNet и Inception, подготовив почву для предстоящего преобразующего путешествия.

Трансформеры: разгадка раскрыта#

Что делает Transformer особенным? Merve сравнила его с загадкой, показав, чем он отличается от традиционных моделей на основе свёрток. Секрет заключается в способности выполнять самообучение без учителя, выделяя признаки без необходимости в размеченных данных. Vision Transformer, Data Efficient Transformer, CLIP и Swin Transformer стали главными представителями представленных ею моделей на основе трансформеров.

Устанавливая точки соприкосновения с Ultralytics, которая предоставляет поддержку модели-трансформера, предназначенной для обнаружения объектов. Эта модель оснащена эффективным гибридным энкодером, выбором запросов с учётом IOU и регулируемой скоростью инференса. Примечательно, что она придерживается знакомой схемы других моделей Ultralytics YOLOv8, предлагая возможности для предсказания, обучения, валидации и экспорта.

Всё необходимое в одном месте#

Затем Merve подробно рассмотрела сокровищницу предложений Hugging Face: более 8 000 моделей для классических задач компьютерного зрения и 10 000 моделей для мультимодальных приложений. В Hugging Face Hub представлено более 3 000 датасетов, что превращает его в настоящую площадку для разработчиков и энтузиастов. Merve подчеркнула удобство работы благодаря единообразному API Hugging Face, который предоставляет готовые к использованию модели для различных сценариев.

Практическое знакомство с Hugging Face#

Затем выступление перешло к практическим демонстрациям, показавшим, насколько легко работать с моделями. От создания экземпляров моделей и процессоров до дообучения с помощью Trainer API — Merve ясно дала понять, что библиотека Hugging Face Transformers является лучшим помощником разработчика. Она также представила Pipeline API, свой личный фаворит, который упрощает рабочий процесс для пользователей.

Рис. 1. Merve Noyan выступает на YV23 в кампусе Google for Startups в Мадриде.

Краткий обзор приложений#

Merve завершила выступление кратким обзором нескольких впечатляющих приложений, включая модель Plot для визуальных ответов на вопросы, Blip для создания подписей к изображениям и мощную модель Segment Anything для сегментации изображений. В центре внимания оказался Pipeline API экосистемы Hugging Face, который позволяет легко использовать модели без глубокого погружения в технические детали.

Вишенкой на торте стала демонстрация Merve по созданию оптических иллюзий с помощью Elysian Diffusion — захватывающий опыт, который добавляет забавный поворот в мир ИИ.

Коротко о главном!#

В заключение можно сказать, что выступление Merve вдохновило нас и пробудило желание исследовать безграничные возможности компьютерного зрения с открытым исходным кодом. Hugging Face действительно сделала ИИ доступным, увлекательным и захватывающим, помогая разработчикам раскрывать свой творческий потенциал. За будущее сообщества с открытым исходным кодом и невероятные инновации, которые оно принесёт!

Посмотри полную запись выступления о компьютерном зрении от Hugging Face!