Развитие проектов в области компьютерного зрения с помощью инструментов Hugging Face с открытым исходным кодом

Выбор подходящих алгоритмов — лишь одна из составляющих создания эффективных решений на основе компьютерного зрения. Инженеры по ИИ часто работают с большими наборами данных, настраивают модели для конкретных задач и оптимизируют системы ИИ для работы в реальных условиях. По мере ускорения внедрения приложений ИИ растёт и потребность в инструментах, упрощающих эти процессы.

На YOLO Vision 2024 (YV24), ежегодном гибридном мероприятии при поддержке Ultralytics, эксперты по ИИ и энтузиасты технологий собрались, чтобы обсудить последние инновации в области компьютерного зрения. На мероприятии прошли обсуждения самых разных тем, включая способы ускорения разработки приложений ИИ.

Одним из главных событий конференции стал доклад о Hugging Face — платформе ИИ с открытым исходным кодом, которая упрощает обучение, оптимизацию и развёртывание моделей. Павел Якубовский, инженер по машинному обучению в Hugging Face, рассказал, как инструменты платформы упрощают рабочие процессы для задач компьютерного зрения: обнаружения объектов на изображениях, распределения изображений по категориям и составления прогнозов без предварительного обучения на конкретных примерах (обучение с нулевым количеством примеров).

Hugging Face Hub размещает различные модели ИИ и компьютерного зрения, например Ultralytics YOLO11, и предоставляет к ним доступ. В этой статье мы расскажем о ключевых выводах из доклада Павла и рассмотрим, как разработчики могут использовать инструменты Hugging Face с открытым исходным кодом для быстрой сборки и развёртывания моделей ИИ.

Рис. 1. Павел выступает на сцене YV24.

Hugging Face Hub ускоряет разработку ИИ#

Павел начал выступление с рассказа о Hugging Face — платформе ИИ с открытым исходным кодом, на которой доступны предварительно обученные модели для самых разных приложений. Эти модели предназначены для различных областей ИИ, включая обработку естественного языка (NLP), компьютерное зрение и мультимодальный ИИ, позволяющий системам обрабатывать разные типы данных, например текст, изображения и аудио.

Павел отметил, что на Hugging Face Hub теперь размещено более миллиона моделей, и разработчики могут легко найти подходящие модели для своих проектов. Hugging Face стремится упростить разработку ИИ, предлагая инструменты для обучения, тонкой настройки и развёртывания моделей. Возможность экспериментировать с разными моделями упрощает интеграцию ИИ в реальные приложения.

Изначально Hugging Face была известна благодаря NLP, но впоследствии платформа расширилась и теперь охватывает компьютерное зрение и мультимодальный ИИ, позволяя разработчикам решать более широкий спектр задач ИИ. У неё также есть активное сообщество, где разработчики могут сотрудничать, делиться опытом и получать поддержку на форумах, в Discord и на GitHub.

Изучение моделей Hugging Face для приложений компьютерного зрения#

Переходя к деталям, Павел объяснил, как инструменты Hugging Face упрощают создание приложений компьютерного зрения. Разработчики могут использовать их для классификации изображений, обнаружения объектов и приложений, объединяющих зрение и язык.

Он также отметил, что многие из этих задач компьютерного зрения можно решать с помощью предварительно обученных моделей на Hugging Face Hub, экономя время благодаря тому, что не нужно обучать модели с нуля. Hugging Face предлагает более 13 000 предварительно обученных моделей для классификации изображений, в том числе модели для классификации еды и домашних животных, а также для распознавания эмоций.

Подчеркнув доступность этих моделей, он сказал: «Возможно, для твоего проекта даже не придётся обучать модель — на Hub может найтись модель, которую уже обучил кто-то из сообщества».

Модели Hugging Face для обнаружения объектов#

В качестве ещё одного примера Павел рассказал, как Hugging Face помогает решать задачу обнаружения объектов — ключевую задачу компьютерного зрения, которая позволяет находить объекты на изображениях и определять их местоположение. Даже при небольшом количестве размеченных данных предварительно обученные модели, доступные на Hugging Face Hub, помогают эффективнее обнаруживать объекты.

Он также кратко рассказал о нескольких моделях для этой задачи, которые можно найти на Hugging Face:

• Модели обнаружения объектов в реальном времени: в динамичных условиях, где скорость особенно важна, модели вроде Real-Time Detection Transformer (RT-DETR) обеспечивают обнаружение объектов в реальном времени. RT-DETR обучена на наборе данных COCO и эффективно обрабатывает многомасштабные признаки, поэтому подходит для приложений, чувствительных к задержкам.
• Модели «зрение — язык»: эти модели объединяют обработку изображений и текста, позволяя системам ИИ сопоставлять изображения с описаниями и распознавать объекты, не встречавшиеся в обучающих данных. К таким моделям относятся CLIP и SigLIP: они улучшают поиск изображений, связывая текст с визуальным содержимым, и позволяют решениям на основе ИИ распознавать новые объекты, понимая контекст.
• Модели обнаружения объектов без примеров: они распознают ранее неизвестные объекты, понимая связь между изображениями и текстом. Например, OWL-ViT, Grounding DINO и OmDet используют обучение без примеров, чтобы обнаруживать новые объекты без размеченных обучающих данных. В рейтинге VLM от Ultralytics такие детекторы с открытым словарём сравниваются на наборах данных для обнаружения объектов в реальных условиях.

Как использовать модели Hugging Face#

Затем Павел перешёл к практике и рассказал о трёх способах использовать модели Hugging Face: изучать модели, быстро их тестировать и дополнительно настраивать.

Он показал, как разработчики могут просматривать модели прямо на Hugging Face Hub, не написав ни строчки кода, и сразу тестировать их с помощью интерактивного интерфейса. «Можно попробовать модель, не написав ни строчки кода и не скачивая её на компьютер», — добавил Павел. Некоторые модели занимают много места, поэтому запуск на Hub помогает избежать ограничений по хранилищу и вычислительным ресурсам.

Рис. 2. Как использовать модели Hugging Face.

Кроме того, Hugging Face Inference API позволяет запускать модели ИИ с помощью простых вызовов API. Это отличный вариант для быстрого тестирования, проектов проверки концепции и оперативного прототипирования без сложной настройки.

Для более сложных сценариев разработчики могут использовать фреймворк Hugging Face Transformers — инструмент с открытым исходным кодом, который предоставляет предварительно обученные модели для работы с текстом, изображениями и аудио и поддерживает PyTorch и TensorFlow. Павел объяснил, что всего двумя строками кода разработчики могут получить модель из Hugging Face Hub и подключить к ней инструмент предобработки, например обработчик изображений, чтобы анализировать данные изображений в приложениях Vision AI.

Оптимизация рабочих процессов ИИ с помощью Hugging Face#

Затем Павел рассказал, как Hugging Face помогает оптимизировать рабочие процессы ИИ. Одной из ключевых тем стала оптимизация механизма внимания в Transformer — важной составляющей моделей глубокого обучения, которая помогает им сосредоточиваться на наиболее значимых частях входных данных. Это повышает точность задач обработки языка и компьютерного зрения. Однако такой механизм может требовать значительных вычислительных ресурсов.

Оптимизация механизма внимания может значительно сократить использование памяти и повысить скорость. Павел отметил: «Например, переход на более эффективную реализацию механизма внимания может ускорить работу до 1,8 раза».

Hugging Face поддерживает более эффективные реализации механизма внимания непосредственно во фреймворке Transformers. Чтобы включить эти оптимизации, разработчикам достаточно указать альтернативную реализацию механизма внимания при загрузке модели.

Optimum и Torch Compile#

Он также рассказал о квантовании — методе уменьшения размера моделей ИИ за счёт снижения точности используемых ими чисел без существенного влияния на точность результатов. Благодаря этому модели потребляют меньше памяти и работают быстрее, поэтому лучше подходят для устройств с ограниченными вычислительными возможностями, например смартфонов и встраиваемых систем.

Чтобы повысить эффективность ещё больше, Павел представил библиотеку Hugging Face Optimum — набор инструментов для оптимизации и развёртывания моделей. Всего несколькими строками кода разработчики могут применять методы квантования и преобразовывать модели в эффективные форматы, например ONNX (формат открытого обмена нейронными сетями), чтобы модели бесперебойно работали на разном оборудовании, включая облачные серверы и периферийные устройства.

Рис. 3. Павел рассказал о библиотеке Optimum и её возможностях.

В завершение Павел упомянул преимущества Torch Compile — функции PyTorch, которая оптимизирует обработку данных моделями ИИ и помогает им работать быстрее и эффективнее. Hugging Face интегрирует Torch Compile в библиотеки Transformers и Optimum, позволяя разработчикам воспользоваться этим приростом производительности с минимальными изменениями кода.

Оптимизируя структуру вычислений модели, Torch Compile может ускорить инференс и повысить частоту кадров с 29 до 150 в секунду без ущерба для точности и качества.

Развёртывание моделей с помощью инструментов Hugging Face#

Затем Павел вкратце рассказал, как разработчики могут расширять возможности моделей Vision AI и развёртывать их с помощью инструментов Hugging Face, выбрав подходящую модель и оптимальный способ разработки.

Например, разработчики могут создавать интерактивные приложения ИИ с помощью Gradio и Streamlit. Gradio позволяет создавать веб-интерфейсы для моделей машинного обучения, а Streamlit помогает разрабатывать интерактивные приложения для работы с данными с помощью простых скриптов Python.

Павел также отметил: «Не нужно начинать и писать всё с нуля», имея в виду руководства, блокноты для обучения и примеры скриптов, которые предоставляет Hugging Face. Эти ресурсы помогают разработчикам быстро приступить к работе, не создавая всё с чистого листа.

Рис. 4. Павел рассказывает о возможностях Hugging Face на YV24.

Преимущества Hugging Face Hub#

Завершая основное выступление, Павел подвёл итоги и перечислил преимущества Hugging Face Hub. Он подчеркнул, что платформа упрощает управление моделями и совместную работу. Также он отметил доступность руководств, блокнотов и обучающих материалов, которые помогают и новичкам, и экспертам понять, как работают модели ИИ, и применять их.

«На Hub уже много интересных пространств. Можно найти похожие, скопировать общий код, изменить несколько строк, заменить модель на свою и отправить её обратно», — объяснил он, призывая разработчиков воспользоваться гибкостью платформы.

Главные выводы#

В своём выступлении на YV24 Павел рассказал, как Hugging Face предоставляет инструменты для обучения, оптимизации и развёртывания моделей ИИ. Например, такие решения, как Transformers, Optimum и Torch Compile, помогают разработчикам повысить производительность моделей.

По мере повышения эффективности моделей ИИ достижения в квантовании и развёртывании на периферийных устройствах упрощают их запуск на устройствах с ограниченными ресурсами. Эти улучшения в сочетании с инструментами вроде Hugging Face и передовыми моделями компьютерного зрения, такими как Ultralytics YOLO11, помогают создавать масштабируемые высокопроизводительные приложения Vision AI.

Присоединяйся к нашему растущему сообществу! Изучи наш репозиторий на GitHub, чтобы узнать больше об ИИ, и ознакомься с нашими лицензиями YOLO, чтобы начать проекты Vision AI. Интересуешься такими инновациями, как компьютерное зрение в здравоохранении или компьютерное зрение в сельском хозяйстве? Посети страницы наших решений и узнай больше!