Развитие проектов CV с помощью инструментов Hugging Face с открытым исходным кодом

Выбор подходящих алгоритмов — лишь одна из составляющих создания эффективных решений для компьютерного зрения. Инженеры по ИИ часто работают с большими наборами данных, дообучают модели для конкретных задач и оптимизируют системы ИИ для работы в реальных условиях. По мере того как приложения ИИ внедряются всё быстрее, растёт и потребность в инструментах, упрощающих эти процессы.

На YOLO Vision 2024 (YV24) — ежегодном гибридном мероприятии при поддержке Ultralytics — эксперты по ИИ и энтузиасты технологий собрались, чтобы обсудить последние инновации в области компьютерного зрения. Мероприятие вызвало обсуждения на самые разные темы, включая способы ускорения разработки приложений ИИ.

Одним из главных событий мероприятия стал доклад о Hugging Face — платформе ИИ с открытым исходным кодом, которая упрощает обучение, оптимизацию и развёртывание моделей. Pavel Iakubovskii, инженер по машинному обучению в Hugging Face, рассказал, как её инструменты улучшают рабочие процессы для задач компьютерного зрения, таких как обнаружение объектов на изображениях, распределение изображений по разным категориям и выполнение прогнозов без предварительного обучения на конкретных примерах (обучение без примеров).

Hugging Face Hub размещает различные модели ИИ и предоставляет к ним доступ, включая модели компьютерного зрения, такие как Ultralytics YOLO11. В этой статье мы подведём итоги доклада Pavel и рассмотрим, как разработчики могут использовать инструменты Hugging Face с открытым исходным кодом для быстрого создания и развёртывания моделей ИИ.

Рис. 1. Pavel выступает на сцене YV24.

Hugging Face Hub ускоряет разработку ИИ#

Pavel начал свой доклад с представления Hugging Face как платформы ИИ с открытым исходным кодом, предлагающей предварительно обученные модели для самых разных приложений. Эти модели предназначены для различных направлений ИИ, включая обработку естественного языка (NLP), компьютерное зрение и мультимодальный ИИ, что позволяет системам обрабатывать разные типы данных, такие как текст, изображения и аудио.

Pavel отметил, что сейчас на Hugging Face Hub размещено более 1 миллиона моделей, и разработчики могут легко находить модели, подходящие для их конкретных проектов. Hugging Face стремится упростить разработку ИИ, предлагая инструменты для обучения, дообучения и развёртывания моделей. Возможность экспериментировать с разными моделями упрощает интеграцию ИИ в реальные приложения.

Хотя изначально Hugging Face была известна благодаря NLP, с тех пор она расширилась в области компьютерного зрения и мультимодального ИИ, позволяя разработчикам решать более широкий спектр задач ИИ. У неё также есть активное сообщество, где разработчики могут сотрудничать, обмениваться знаниями и получать поддержку через форумы, Discord и GitHub.

Изучение моделей Hugging Face для приложений компьютерного зрения#

Pavel подробнее объяснил, как инструменты Hugging Face упрощают создание приложений компьютерного зрения. Разработчики могут использовать их для таких задач, как классификация изображений, обнаружение объектов и приложений, объединяющих зрение и язык.

Он также отметил, что многие из этих задач компьютерного зрения можно решать с помощью предварительно обученных моделей, доступных на Hugging Face Hub, экономя время за счёт отказа от обучения с нуля. Фактически Hugging Face предлагает более 13 000 предварительно обученных моделей для задач классификации изображений, включая классификацию продуктов питания, домашних животных и распознавание эмоций.

Подчёркивая доступность этих моделей, он сказал: «Вам, вероятно, даже не нужно обучать модель для своего проекта — возможно, на Hub уже есть модель, обученная кем-то из сообщества».

Модели Hugging Face для обнаружения объектов#

В качестве ещё одного примера Pavel рассказал, как Hugging Face может помочь с обнаружением объектов — ключевой функцией компьютерного зрения, используемой для идентификации и определения местоположения объектов на изображениях. Даже при небольшом количестве размеченных данных предварительно обученные модели, доступные на Hugging Face Hub, могут сделать обнаружение объектов эффективнее.

Он также кратко представил несколько моделей для этой задачи, которые можно найти на Hugging Face:

• Модели обнаружения объектов в реальном времени: в динамичных средах, где скорость критически важна, такие модели, как трансформер обнаружения (DETR), обеспечивают обнаружение объектов в реальном времени. DETR обучен на наборе данных COCO и предназначен для эффективной обработки многомасштабных признаков, что делает его подходящим для приложений, чувствительных к задержкам.
• Модели, объединяющие зрение и язык: эти модели совмещают обработку изображений и текста, позволяя системам ИИ сопоставлять изображения с описаниями или распознавать объекты, отсутствовавшие в обучающих данных. К ним относятся CLIP и SigLIP, которые улучшают поиск изображений, связывая текст с визуальным содержимым, и позволяют решениям ИИ идентифицировать новые объекты, понимая их контекст.
• Модели обнаружения объектов без примеров: они могут идентифицировать ранее не встречавшиеся объекты, понимая взаимосвязь между изображениями и текстом. К ним относятся OwlVit, GroundingDINO и OmDet, использующие обучение без примеров для обнаружения новых объектов без необходимости в размеченных обучающих данных.

Как использовать модели Hugging Face#

Затем Pavel перешёл к практической работе с моделями Hugging Face и объяснил три способа их использования разработчиками: изучение моделей, их быстрое тестирование и дальнейшая настройка.

Он показал, как разработчики могут просматривать модели непосредственно на Hugging Face Hub без написания кода, мгновенно тестируя их через интерактивный интерфейс. «Вы можете попробовать это, не написав ни строчки кода и не скачивая модель на свой компьютер», — добавил Pavel. Поскольку некоторые модели имеют большой размер, их запуск на Hub помогает избежать ограничений по хранению и обработке данных.

Рис. 2. Как использовать модели Hugging Face.

Кроме того, Hugging Face Inference API позволяет разработчикам запускать модели ИИ с помощью простых вызовов API. Это отлично подходит для быстрого тестирования, проектов с проверкой концепции и быстрого прототипирования без сложной настройки.

Для более продвинутых сценариев разработчики могут использовать фреймворк Hugging Face Transformers — инструмент с открытым исходным кодом, предоставляющий предварительно обученные модели для задач обработки текста, изображений и аудио и поддерживающий PyTorch и TensorFlow. Pavel объяснил, что всего двумя строками кода разработчики могут получить модель из Hugging Face Hub и связать её с инструментом предварительной обработки, например обработчиком изображений, чтобы анализировать данные изображений в приложениях Vision AI.

Оптимизация рабочих процессов ИИ с помощью Hugging Face#

Затем Pavel объяснил, как Hugging Face может упростить рабочие процессы ИИ. Одной из ключевых тем стала оптимизация механизма внимания в Transformers — базового компонента моделей глубокого обучения, который помогает им сосредоточиться на наиболее важных частях входных данных. Это повышает точность задач, связанных с обработкой языка и компьютерным зрением. Однако такой механизм может требовать значительных ресурсов.

Оптимизация механизма внимания может значительно снизить использование памяти и одновременно повысить скорость. Pavel отметил: «Например, перейдя на более эффективную реализацию внимания, можно получить ускорение до 1,8 раза».

Hugging Face предоставляет встроенную поддержку более эффективных реализаций внимания в рамках фреймворка Transformers. Разработчики могут включить эти оптимизации, просто указав альтернативную реализацию внимания при загрузке модели.

Optimum и Torch Compile#

Он также рассказал о квантовании — методе уменьшения размера моделей ИИ за счёт снижения точности используемых ими чисел без существенного влияния на производительность. Это помогает моделям использовать меньше памяти и работать быстрее, благодаря чему они лучше подходят для устройств с ограниченной вычислительной мощностью, например смартфонов и встраиваемых систем.

Для дальнейшего повышения эффективности Pavel представил библиотеку Hugging Face Optimum — набор инструментов, предназначенных для оптимизации и развёртывания моделей. Всего несколькими строками кода разработчики могут применять методы квантования и преобразовывать модели в эффективные форматы, такие как обмен открытыми нейросетями (ONNX), что позволяет им стабильно работать на разных типах оборудования, включая облачные серверы и периферийные устройства.

Рис. 3. Pavel рассказал о библиотеке Optimum и её возможностях.

В завершение Pavel упомянул преимущества Torch Compile — функции PyTorch, которая оптимизирует обработку данных моделями ИИ, помогая им работать быстрее и эффективнее. Hugging Face интегрирует Torch Compile в свои библиотеки Transformers и Optimum, позволяя разработчикам пользоваться этими улучшениями производительности с минимальными изменениями кода.

Оптимизируя структуру вычислений модели, Torch Compile может ускорить время инференса и увеличить частоту кадров с 29 до 150 кадров в секунду без ущерба для точности или качества.

Развёртывание моделей с помощью инструментов Hugging Face#

Далее Pavel кратко рассказал, как разработчики могут расширять возможности и развёртывать модели Vision AI с помощью инструментов Hugging Face после выбора подходящей модели и оптимального подхода к разработке.

Например, разработчики могут развёртывать интерактивные приложения ИИ с помощью Gradio и Streamlit. Gradio позволяет создавать веб-интерфейсы для моделей машинного обучения, а Streamlit помогает создавать интерактивные приложения для работы с данными с помощью простых скриптов Python.

Pavel также отметил: «Не нужно начинать и писать всё с нуля», имея в виду руководства, блокноты для обучения и примеры скриптов, которые предоставляет Hugging Face. Эти ресурсы помогают разработчикам быстро приступить к работе, не создавая всё с нуля.

Рис. 4. Pavel рассказывает о возможностях Hugging Face на YV24.

Преимущества Hugging Face Hub#

Завершая свой основной доклад, Pavel обобщил преимущества использования Hugging Face Hub. Он подчеркнул, как платформа упрощает управление моделями и совместную работу. Он также обратил внимание на доступность руководств, блокнотов и учебных материалов, которые помогают и новичкам, и экспертам понимать и внедрять модели ИИ.

«На Hub уже есть множество классных пространств. Можно найти похожее пространство, клонировать общий код, изменить несколько строк, заменить модель на свою и отправить результат обратно», — объяснил он, призывая разработчиков пользоваться гибкостью платформы.

Основные выводы#

Во время своего выступления на YV24 Pavel рассказал, как Hugging Face предоставляет инструменты для обучения, оптимизации и развёртывания моделей ИИ. Например, такие инновации, как Transformers, Optimum и Torch Compile, помогают разработчикам повышать производительность моделей.

По мере повышения эффективности моделей ИИ достижения в области квантования и периферийного развёртывания упрощают их запуск на устройствах с ограниченными ресурсами. Эти улучшения в сочетании с такими инструментами, как Hugging Face, и передовыми моделями компьютерного зрения, такими как Ultralytics YOLO11, имеют ключевое значение для создания масштабируемых высокопроизводительных приложений Vision AI.

Присоединяйся к нашему растущему сообществу! Посети наш репозиторий на GitHub, чтобы узнать больше об ИИ, и ознакомься с нашими лицензиями YOLO, чтобы начать свои проекты в области Vision AI. Интересуешься такими инновациями, как компьютерное зрение в здравоохранении или компьютерное зрение в сельском хозяйстве? Посети страницы наших решений, чтобы узнать больше!