Усиление проектов CV с помощью инструментов с открытым исходным кодом от Hugging Face

Выбор правильных алгоритмов — лишь часть процесса создания эффективных решений в области компьютерного зрения. Инженеры по ИИ часто работают с большими наборами данных, дообучают модели для конкретных задач и оптимизируют ИИ-системы для работы в реальных условиях. По мере того как ИИ-приложения внедряются всё быстрее, растет и потребность в инструментах, упрощающих эти процессы.

На YOLO Vision 2024 (YV24), ежегодном гибридном мероприятии при поддержке Ultralytics, эксперты по искусственному интеллекту и энтузиасты технологий собрались вместе, чтобы изучить последние инновации в области компьютерного зрения. Мероприятие вызвало обсуждения на различные темы, такие как способы ускорения разработки приложений ИИ.

Ключевым моментом мероприятия стал доклад о Hugging Face, платформе ИИ с открытым исходным кодом, которая упрощает обучение, оптимизацию и развертывание моделей. Pavel Iakubovskii, инженер по машинному обучению в Hugging Face, рассказал о том, как ее инструменты улучшают рабочие процессы для задач компьютерного зрения, таких как обнаружение объектов на изображениях, классификация изображений по различным группам и выполнение предсказаний без предварительного обучения на конкретных примерах (zero-shot обучение).

Hugging Face Hub размещает и предоставляет доступ к различным моделям ИИ и компьютерного зрения, таким как Ultralytics YOLO11. В этой статье мы подведем итоги основных тезисов выступления Павла и посмотрим, как разработчики могут использовать инструменты с открытым исходным кодом от Hugging Face для быстрого создания и развертывания моделей ИИ.

Рис 1. Павел на сцене YV24.

Hugging Face Hub способствует более быстрой разработке ИИ#

Павел начал свое выступление с представления Hugging Face как платформы ИИ с открытым исходным кодом, предлагающей предобученные модели для множества приложений. Эти модели разработаны для различных отраслей ИИ, включая обработку естественного языка (NLP), компьютерное зрение и мультимодальный ИИ, что позволяет системам обрабатывать различные типы данных, такие как текст, изображения и аудио.

Павел отметил, что на Hugging Face Hub сейчас размещено более 1 миллиона моделей, и разработчики могут легко найти те, которые подходят для их конкретных проектов. Hugging Face стремится упростить разработку ИИ, предлагая инструменты для обучения, дообучения и развертывания моделей. Когда разработчики могут экспериментировать с различными моделями, это упрощает процесс интеграции ИИ в реальные приложения.

Хотя Hugging Face изначально была известна в сфере NLP, с тех пор она расширилась в область компьютерного зрения и мультимодального ИИ, позволяя разработчикам решать более широкий круг задач ИИ. У нее также есть сильное сообщество, где разработчики могут сотрудничать, делиться идеями и получать поддержку через форумы, Discord и GitHub.

Изучение моделей Hugging Face для приложений компьютерного зрения#

Углубляясь в детали, Павел объяснил, как инструменты Hugging Face упрощают создание приложений компьютерного зрения. Разработчики могут использовать их для таких задач, как классификация изображений, обнаружение объектов и визуально-языковые приложения.

Он также отметил, что многие из этих задач компьютерного зрения можно решить с помощью предобученных моделей, доступных на Hugging Face Hub, что экономит время за счет снижения потребности в обучении с нуля. Фактически, Hugging Face предлагает более 13 000 предобученных моделей для задач классификации изображений, включая модели для классификации еды, классификации домашних животных и определения эмоций.

Подчеркивая доступность этих моделей, он сказал: «Тебе, скорее всего, даже не нужно обучать модель для своего проекта — возможно, ты найдешь на Hub уже обученную кем-то из сообщества».

Модели Hugging Face для обнаружения объектов#

Приводя другой пример, Павел подробно рассказал о том, как Hugging Face может помочь с обнаружением объектов, ключевой функцией компьютерного зрения, которая используется для идентификации и определения местоположения объектов на изображениях. Даже при ограниченном количестве размеченных данных предобученные модели, доступные на Hugging Face Hub, могут сделать обнаружение объектов более эффективным.

Он также дал краткий обзор нескольких моделей, созданных для этой задачи, которые ты можешь найти на Hugging Face:

• Модели обнаружения объектов в реальном времени: Для динамических сред, где скорость критична, такие модели, как Detection Transformer (DETR), предлагают возможности обнаружения объектов в реальном времени. DETR обучена на наборе данных COCO и спроектирована для эффективной обработки многомасштабных признаков, что делает ее подходящей для задач, чувствительных к времени.
• Зрительно-языковые модели: эти модели объединяют обработку изображений и текста, позволяя системам ИИ сопоставлять изображения с описаниями или распознавать объекты вне их обучающих данных. Примеры включают CLIP и SigLIP, которые улучшают поиск изображений, связывая текст с визуальными элементами, и позволяют решениям ИИ идентифицировать новые объекты, понимая их контекст.
• Модели обнаружения объектов zero-shot: они могут идентифицировать объекты, которые они раньше не видели, понимая взаимосвязь между изображениями и текстом. Примеры включают OwlVit, GroundingDINO и OmDet, которые используют zero-shot обучение для обнаружения новых объектов без необходимости использования размеченных обучающих данных.

Как использовать модели Hugging Face#

Затем Павел переключил внимание на практическую работу с моделями Hugging Face, объяснив три способа, которыми разработчики могут их использовать: изучение моделей, быстрая проверка и дальнейшая настройка.

Он продемонстрировал, как разработчики могут просматривать модели прямо на Hugging Face Hub, не написав ни строчки кода, что облегчает мгновенное тестирование моделей через интерактивный интерфейс. «Ты можешь попробовать это, не написав даже строчки кода или не скачивая модель на свой компьютер», — добавил Павел. Поскольку некоторые модели имеют большой размер, запуск их на Hub помогает избежать ограничений по хранению и обработке данных.

Рис 2. Как использовать модели Hugging Face.

Также Hugging Face Inference API позволяет разработчикам запускать ИИ-модели с помощью простых API-вызовов. Это отлично подходит для быстрой проверки, проектов-доказательств концепции и оперативного прототипирования без необходимости сложной настройки.

Для более продвинутых сценариев разработчики могут использовать фреймворк Hugging Face Transformers — инструмент с открытым исходным кодом, который предоставляет предобученные модели для задач с текстом, зрением и аудио, поддерживая при этом как PyTorch, так и TensorFlow. Павел объяснил, что всего двумя строчками кода разработчики могут получить модель из Hugging Face Hub и связать ее с инструментом предобработки, таким как процессор изображений, для анализа данных изображений в приложениях Vision AI.

Оптимизация рабочих процессов ИИ с помощью Hugging Face#

Далее Павел объяснил, как Hugging Face может оптимизировать рабочие процессы ИИ. Одной из ключевых тем, которую он затронул, была оптимизация механизма внимания в Transformer — основной особенности моделей глубокого обучения, которая помогает фокусироваться на наиболее релевантных частях входных данных. Это повышает точность задач, связанных с обработкой языка и компьютерным зрением. Однако это может быть ресурсоемким процессом.

Оптимизация механизма внимания может значительно снизить использование памяти, одновременно увеличивая скорость. Павел отметил: «Например, перейдя на более эффективную реализацию внимания, ты можешь получить до 1,8-кратного ускорения производительности».

Hugging Face предоставляет встроенную поддержку более эффективных реализаций внимания внутри фреймворка Transformers. Разработчики могут включить эти оптимизации, просто указав альтернативную реализацию внимания при загрузке модели.

Optimum и Torch Compile#

Он также рассказал о квантовании — методе, который делает ИИ-модели меньше за счет снижения точности чисел, которые они используют, не влияя при этом на производительность слишком сильно. Это помогает моделям потреблять меньше памяти и работать быстрее, делая их более подходящими для устройств с ограниченной вычислительной мощностью, таких как смартфоны и встроенные системы.

Чтобы еще больше повысить эффективность, Павел представил библиотеку Hugging Face Optimum, набор инструментов, предназначенных для оптимизации и развертывания моделей. Всего с несколькими строками кода разработчики могут применять методы квантования и преобразовывать модели в эффективные форматы, такие как ONNX (Open Neural Network Exchange), что позволяет им бесперебойно работать на различных типах оборудования, включая облачные серверы и периферийные устройства.

Рис 3. Павел рассказал о библиотеке Optimum и ее функциях.

Наконец, Павел упомянул преимущества Torch Compile — функции в PyTorch, которая оптимизирует способ обработки данных ИИ-моделями, заставляя их работать быстрее и эффективнее. Hugging Face интегрирует Torch Compile в свои библиотеки Transformers и Optimum, позволяя разработчикам воспользоваться этими улучшениями производительности с минимальными изменениями кода.

Оптимизируя структуру вычислений модели, Torch Compile может ускорить время вывода и увеличить частоту кадров с 29 до 150 кадров в секунду без ущерба для точности или качества.

Развертывание моделей с помощью инструментов Hugging Face#

Переходя дальше, Павел вкратце коснулся того, как разработчики могут расширять и развертывать модели Vision AI с помощью инструментов Hugging Face после выбора правильной модели и наилучшего подхода к разработке.

Например, разработчики могут развертывать интерактивные ИИ-приложения с помощью Gradio и Streamlit. Gradio позволяет создавать веб-интерфейсы для моделей машинного обучения, а Streamlit помогает создавать интерактивные приложения для данных с помощью простых скриптов на Python.

Павел также отметил: «Тебе не нужно начинать писать все с нуля», имея в виду руководства, обучающие блокноты и примеры скриптов, которые предоставляет Hugging Face. Эти ресурсы помогают разработчикам быстро начать работу без необходимости строить все с самого основания.

Рис 4. Павел обсуждает возможности Hugging Face на YV24.

Преимущества Hugging Face Hub#

Завершая свое выступление, Павел резюмировал преимущества использования Hugging Face Hub. Он подчеркнул, как это упрощает управление моделями и совместную работу. Он также обратил внимание на доступность руководств, блокнотов и учебных пособий, которые могут помочь как новичкам, так и экспертам понять и внедрить ИИ-модели.

«На Hub уже есть много крутых пространств. Ты можешь найти похожие, клонировать общий код, изменить несколько строк, заменить модель на свою и отправить обратно», — пояснил он, призывая разработчиков использовать гибкость платформы.

Основные выводы#

Во время своего выступления на YV24 Павел рассказал, как Hugging Face предоставляет инструменты, поддерживающие обучение, оптимизацию и развертывание ИИ-моделей. Например, такие инновации, как Transformers, Optimum и Torch Compile, могут помочь разработчикам повысить производительность моделей.

По мере того как ИИ-модели становятся более эффективными, достижения в области квантования и периферийного развертывания облегчают их запуск на устройствах с ограниченными ресурсами. Эти улучшения, в сочетании с такими инструментами, как Hugging Face, и передовыми моделями компьютерного зрения, такими как Ultralytics YOLO11, являются ключевыми для создания масштабируемых и высокопроизводительных приложений Vision AI.

Присоединяйся к нашему растущему сообществу! Изучай наш репозиторий GitHub, чтобы узнать об ИИ, и ознакомься с нашими лицензиями YOLO, чтобы начать свои проекты в области Vision AI. Интересуешься такими инновациями, как компьютерное зрение в здравоохранении или компьютерное зрение в сельском хозяйстве? Посети страницы наших решений, чтобы узнать больше!