Нажав кнопку "Принять все файлы cookie", вы соглашаетесь с сохранением файлов cookie на вашем устройстве для улучшения навигации по сайту, анализа его использования и помощи в наших маркетинговых усилиях. Дополнительная информация
Настройки файлов cookie
Нажав кнопку "Принять все файлы cookie", вы соглашаетесь с сохранением файлов cookie на вашем устройстве для улучшения навигации по сайту, анализа его использования и помощи в наших маркетинговых усилиях. Дополнительная информация
Погрузитесь в компьютерное зрение с открытым исходным кодом вместе с HuggingFace! Узнайте о трансферном обучении, трансформаторах и изучите более 8 000 моделей. Присоединяйтесь к Мерве Ноян, чтобы узнать много нового и продемонстрировать практические примеры, которые позволят разработчикам внедрять инновации в области ИИ.
Продолжая изучать основные моменты мероприятия YOLO VISION 2023 (YV23), давайте познакомимся с Мерве Ноян, инженером по продвижению разработчиков в HuggingFace, ведущей платформе NLP с предварительно обученными моделями для эффективной разработки языковых приложений. В своем выступлении Мерве поделилась невероятными знаниями о мире компьютерного зрения с открытым исходным кодом.
Мерве начал с краткого рассказа о трансферном обучении - волшебной палочке, позволяющей переносить знания из одной нейронной сети в другую. Представьте, что вы обучаете модель на универсальных признаках ранних слоев, таких как края и углы, а затем настраиваете ее для решения конкретных задач. В этом и заключается суть трансферного обучения, уменьшающего зависимость от данных и повышающего точность.
Мерве рассказал о классических конволюционных основах, таких как ResNet и Inception, и заложил основу для предстоящего трансформационного пути.
Вступайте в ряды трансформеров: Загадка раскрыта
Что делает трансформеров особенными? Мерве сравнил это с загадкой, показав, чем они отличаются от традиционных моделей на основе свертки. Секретный соус заключается в их способности к самообучению, позволяющей улавливать особенности без необходимости использования маркированных данных. Vision Transformer, Data Efficient Transformer, CLIP и SWIM CLIP были в числе звездного состава моделей на основе трансформации, которые она представила.
Компания Ultralytics поддерживает модель трансформатора , предназначенную для обнаружения объектов. Эта модель имеет эффективный гибридный кодер, выбор запросов с учетом IOU и регулируемую скорость вывода. Примечательно, что она придерживается привычной схемы других моделей Ultralytics YOLOv8, представляя опции прогнозирования, обучения, проверки и экспорта.
Ваш универсальный магазин
Затем Мерве углубился в сокровищницу предложений HuggingFace: более 8 000 моделей для классических задач компьютерного зрения и 10 000 моделей для мультимодальных приложений. HuggingFace Hub может похвастаться более чем 3 000 наборов данных, что делает его игровой площадкой для разработчиков и энтузиастов. Мерве подчеркнул, что благодаря единообразному API HuggingFace, предлагающему готовые к использованию модели для различных случаев применения, работа с ними не требует особых усилий.
Практическое волшебство с HuggingFace
Доклад перешел в практическую демонстрацию, показывающую, как легко можно работать с моделями. Мерве дала понять, что библиотека HuggingFace Transformers - лучший друг разработчика: от инстанцирования моделей и процессоров до тонкой настройки с помощью API Trainer. Она даже представила Pipeline API, личный фаворит, упрощающий рабочий процесс для пользователей.
Рис. 1. Мерве Ноян выступает с докладом на YV23 в кампусе Google for Startups в Мадриде.
Взгляд на приложения
В завершение выступления Мерве рассказал о некоторых фантастических приложениях, включая модель Plot для визуальных ответов на вопросы, Blip для создания подписей к изображениям и мощную модель Segment Anything для сегментации изображений. В центре внимания оказался Pipeline API экосистемы HuggingFace, позволяющий легко использовать модели, не погружаясь в технические тонкости.
Вишенкой на вершине стала демонстрация Мерве создания оптических иллюзий с помощью Elysian Diffusion - увлекательного опыта, который добавляет забавный поворот в мир искусственного интеллекта.
В двух словах!
В заключение хочу сказать, что выступление Мерве вдохновило нас на изучение бесконечных возможностей компьютерного зрения с открытым исходным кодом. HuggingFace действительно сделал ИИ доступным, увлекательным и захватывающим, предоставив разработчикам возможность раскрыть свой творческий потенциал. За будущее сообщества open-source и невероятные инновации, которые оно несет!