PaliGemma 2 от Google: обзор продвинутых моделей VLM

5 декабря 2024 года Google представила PaliGemma 2 — новейшую версию своей модели компьютерного зрения и языка (VLM). PaliGemma 2 предназначена для задач, объединяющих изображения и текст, таких как создание подписей, ответы на вопросы о визуальных данных и обнаружение объектов на изображениях.

PaliGemma 2 развивает возможности исходной модели PaliGemma, которая уже хорошо справлялась с созданием подписей на разных языках и распознаванием объектов, и предлагает несколько важных улучшений. Среди них — более крупные модели, поддержка изображений с более высоким разрешением и повышенная эффективность в сложных задачах компьютерного зрения. Благодаря этим улучшениям модель стала еще гибче и эффективнее в самых разных сценариях.

В этой статье мы подробнее рассмотрим PaliGemma 2: разберем принцип ее работы, ключевые функции и области применения, в которых она особенно эффективна.

От Gemma 2 к PaliGemma 2#

PaliGemma 2 построена на основе двух ключевых технологий: энкодера компьютерного зрения SigLIP и языковой модели Gemma 2. Энкодер SigLIP обрабатывает визуальные данные, например изображения или видео, и преобразует их в признаки для анализа моделью. Gemma 2 отвечает за работу с текстом, позволяя модели понимать и генерировать текст на разных языках. Вместе эти компоненты образуют VLM, предназначенную для интерпретации и связывания визуальной и текстовой информации.

Главные преимущества PaliGemma 2 — масштабируемость и универсальность. В отличие от первой версии, PaliGemma 2 выпускается в трёх размерах: 3 миллиарда (3B), 10 миллиардов (10B) и 28 миллиардов (28B) параметров. Параметры — это своего рода внутренние настройки модели, которые помогают ей эффективно обучаться и обрабатывать данные. Кроме того, модель поддерживает изображения с разным разрешением (например, 224 x 224 пикселя для быстрых задач и 896 x 896 для подробного анализа), поэтому её можно адаптировать к различным сценариям применения.

Рис. 1. Обзор PaliGemma 2.

Интеграция передовых языковых возможностей Gemma 2 с обработкой изображений SigLIP значительно расширяет возможности PaliGemma 2. Модель может выполнять такие задачи, как:

• Создание подписей к изображениям и видео: модель может генерировать подробные текстовые описания визуальных материалов, что полезно для автоматического создания подписей.
• Ответы на вопросы по изображениям: PaliGemma 2 может отвечать на вопросы, опираясь на изображения, например определять объекты, людей или действия в сцене.
• Распознавание объектов: модель определяет объекты на изображении и присваивает им метки, например различает кошку, стол и автомобиль на фотографии.

PaliGemma 2 не просто обрабатывает изображения и текст по отдельности — она объединяет их осмысленным образом. Например, модель может понимать отношения между объектами в сцене, распознавая, что «кошка сидит на столе», или определять объекты с учётом контекста, например узнавать известную достопримечательность.

Как работают VLM-модели PaliGemma 2 от Google#

Теперь рассмотрим пример с графиком на изображении ниже, чтобы лучше понять, как PaliGemma 2 обрабатывает визуальные и текстовые данные. Представь, что ты загружаешь этот график и спрашиваешь модель: «Что изображено на этом графике?»

Рис. 2. Пример возможностей PaliGemma 2.

Сначала энкодер компьютерного зрения SigLIP в PaliGemma 2 анализирует изображения и извлекает ключевые признаки. Например, на графике он определяет такие элементы, как оси, точки данных и подписи. Энкодер обучен выявлять как общие закономерности, так и мелкие детали. Он также использует оптическое распознавание символов (OCR), чтобы обнаруживать и обрабатывать текст, встроенный в изображение. Эти визуальные признаки преобразуются в токены — числовые представления, которые может обрабатывать модель. Затем токены корректируются с помощью слоя линейной проекции, который позволяет объединять их с текстовыми данными.

Одновременно языковая модель Gemma 2 обрабатывает сопутствующий запрос, чтобы определить его смысл и намерение. Текст запроса преобразуется в токены, которые объединяются с визуальными токенами SigLIP, образуя мультимодальное представление — единый формат, связывающий визуальные и текстовые данные.

Используя это объединённое представление, PaliGemma 2 пошагово формирует ответ с помощью авторегрессионного декодирования — метода, при котором модель предсказывает ответ по частям, опираясь на уже обработанный контекст.

Ключевые возможности PaliGemma 2#

Теперь, когда мы разобрали принцип работы модели, рассмотрим ключевые функции, благодаря которым PaliGemma 2 стала надежной моделью компьютерного зрения и языка:

• Гибкая тонкая настройка: легко адаптируется к конкретным наборам данных и задачам и показывает хорошие результаты в таких приложениях, как создание подписей к изображениям, пространственное рассуждение и анализ медицинских изображений.
• Разнообразные обучающие данные: модель обучалась на таких наборах данных, как WebLI и Open Images, что обеспечило ей высокие способности к распознаванию объектов и генерации текстов на разных языках.
• Интеграция OCR: включает функцию оптического распознавания символов для извлечения и интерпретации текста на изображениях, что делает модель идеальной для анализа документов и других текстовых задач.
• Многоязычные ответы: модель генерирует подписи и ответы на разных языках, что идеально подходит для глобальных приложений.
• Интеграция с инструментами: модель совместима с такими фреймворками, как Hugging Face Transformers, PyTorch и Keras, что упрощает ее развертывание и экспериментирование с ней.

Сравнение PaliGemma 2 и PaliGemma: что улучшилось?#

Изучение архитектуры первой версии PaliGemma — хороший способ увидеть улучшения в PaliGemma 2. Одно из наиболее заметных изменений — замена исходной языковой модели Gemma на Gemma 2, что значительно повысило производительность и эффективность.

Gemma 2 с моделями на 2B, 9B и 27B параметров разработана для достижения лидирующих в своем классе точности и скорости при снижении затрат на развертывание. Это стало возможным благодаря переработанной архитектуре, оптимизированной для эффективного инференса на различных конфигурациях оборудования — от мощных GPU до более доступных систем.

Рис. 3. Вспоминаем первую версию PaliGemma.

В результате PaliGemma 2 — очень точная модель. Версия PaliGemma 2 с 10B параметров набирает 20,3 балла по метрике Non-Entailment Sentence (NES), тогда как у исходной модели этот показатель составляет 34,3; это означает, что в результатах модели стало меньше фактических ошибок. Благодаря этим достижениям PaliGemma 2 лучше масштабируется, точнее работает и адаптируется к более широкому спектру приложений — от подробного создания подписей до ответов на вопросы о визуальных данных. Новые модели Gemma 4 от Google, например Gemma 4 26B, сравниваются с другими моделями компьютерного зрения и языка на реальных задачах обнаружения объектов в рейтинге VLM.

Применение PaliGemma 2: практические сценарии использования VLM-моделей#

PaliGemma 2 можно применять во многих отраслях благодаря сочетанию понимания изображений и языка. Например, в сфере доступности модель может подробно описывать объекты, сцены и пространственные отношения, оказывая важную помощь людям с нарушениями зрения. Эта возможность помогает пользователям лучше понимать окружающую обстановку и быть более самостоятельными в повседневных делах.

Рис. 4. PaliGemma 2 помогает сделать мир доступнее.

Помимо повышения доступности, PaliGemma 2 влияет на различные отрасли, в том числе:

• Электронная коммерция: модель улучшает категоризацию товаров, анализируя и описывая предметы на изображениях. Это упрощает управление запасами и делает поиск удобнее для пользователей.
• Здравоохранение: модель помогает медицинским специалистам интерпретировать результаты медицинской визуализации, например рентгеновские снимки и МРТ, вместе с клиническими заметками, чтобы ставить более точные и обоснованные диагнозы.
• Образование: PaliGemma 2 помогает педагогам создавать наглядные и доступные учебные материалы: модель генерирует подписи и предоставляет контекстную информацию об изображениях.
• Создание контента: модель автоматизирует создание подписей и визуальных описаний мультимедийного контента, экономя время авторов.

Попробуй сам: PaliGemma 2#

Чтобы попробовать PaliGemma 2, начни с интерактивной демонстрации на Hugging Face. В ней можно изучить возможности модели в таких задачах, как создание подписей к изображениям и визуальные ответы на вопросы. Просто загрузи изображение и задай модели вопросы о нём или попроси описать сцену.

Рис. 5. Демонстрация PaliGemma 2 (источник: Hugging Face).

Если хочешь узнать больше, вот как можно попробовать модель на практике:

• Предварительно обученные модели: предварительно обученные модели и код доступны на таких платформах, как Hugging Face и Kaggle. Эти ресурсы предоставляют всё необходимое, чтобы начать работу с моделью.
• Ноутбуки: подробная документация и примеры ноутбуков помогут тебе освоиться с PaliGemma 2. Можно начать с примеров инференса, а затем попробовать дообучить модель на собственном наборе данных для решения конкретных задач.
• Интеграции: PaliGemma 2 совместима с широко используемыми фреймворками, такими как Hugging Face Transformers, Keras, PyTorch, JAX и Gemma.cpp, поэтому ты можешь встроить её в существующие рабочие процессы.

Преимущества и недостатки PaliGemma 2 от Google#

Теперь, когда мы рассмотрели, как начать работу с PaliGemma 2, давай подробнее изучим её основные преимущества и недостатки, которые важно учитывать при использовании этих моделей.

Вот чем PaliGemma 2 выделяется среди моделей, работающих с изображениями и текстом:

• Повышенная эффективность: благодаря оптимизированной архитектуре Gemma 2 модель PaliGemma 2 обеспечивает высокую производительность при минимальных затратах на развёртывание.
• Усиленные меры безопасности: PaliGemma 2 включает значительные улучшения безопасности в процессе обучения, например тщательную фильтрацию данных для предварительного обучения, снижающую предвзятость, и строгую оценку по тестам безопасности.
• Низкая задержка в компактных конфигурациях: модель 3B обеспечивает более быстрый инференс и подходит для сценариев, где важна скорость, например для рекомендаций товаров в электронной коммерции или систем поддержки в реальном времени.

Вместе с тем у PaliGemma 2 есть и некоторые ограничения:

• Задержка: несмотря на высокую мощность, у более крупных моделей могут возникать проблемы с задержкой, особенно при развёртывании для задач, требующих немедленного ответа, например в интерактивных системах ИИ реального времени.
• Зависимость от больших наборов данных: производительность PaliGemma 2 напрямую зависит от качества и разнообразия обучающих наборов данных. Это может ограничить эффективность модели в недостаточно представленных областях или на языках, отсутствующих в обучающих данных.
• Высокие требования к ресурсам: несмотря на оптимизацию, версии с 10 млрд и 28 млрд параметров требуют значительных вычислительных мощностей, поэтому небольшим организациям с ограниченными ресурсами их сложнее использовать.

Главные выводы#

PaliGemma 2 — впечатляющее достижение в моделировании взаимодействия изображений и текста: модель отличается улучшенной масштабируемостью, гибкостью дообучения и точностью. Она может стать ценным инструментом для самых разных задач — от решений для повышения доступности и электронной коммерции до медицинской диагностики и образования.

У модели есть ограничения, например высокие требования к вычислительным ресурсам и зависимость от качественных данных, но её сильные стороны делают её практичным выбором для сложных задач, объединяющих визуальные и текстовые данные. PaliGemma 2 может стать надёжной основой для исследователей и разработчиков, которые изучают и расширяют возможности ИИ в мультимодальных приложениях.

Присоединяйся к обсуждению ИИ: загляни в наш репозиторий GitHub и наше сообщество. Узнай, как ИИ помогает добиваться успехов в сельском хозяйстве и здравоохранении!