Используй на практике Google Gemini 2.5 для задач компьютерного зрения

Развитие ИИ происходит стремительно: новые инновации почти каждый день оказываются в центре внимания. Одним из таких недавних прорывов стал Gemini 2.5 — новейшая мультимодальная модель от Google DeepMind, представленная 26 марта. Традиционные большие языковые модели (LLMs) могут обучаться на огромных объёмах данных и генерировать текст, похожий на написанный человеком, но Gemini 2.5 идёт гораздо дальше.

Модель разработана как «модель, способная рассуждать», и может обрабатывать изображения, аудио и видео. Она обладает улучшенными навыками рассуждения и программирования. Особенно интересно, что она также превосходно справляется с задачами компьютерного зрения, в которых машины интерпретируют и анализируют визуальные данные, например обнаруживают объекты, создают описания изображений и выполняют оптическое распознавание символов (OCR).

Рис. 1. Пример использования Gemini 2.5 для понимания содержимого изображения.

В этой статье мы разберём один из ноутбуков Ultralytics, который поможет тебе на практике познакомиться с возможностями Gemini 2.5 в области компьютерного зрения. Мы также подробнее рассмотрим ключевые функции Gemini 2.5 и покажем, как с его помощью создавать решения для компьютерного зрения для реальных приложений. Начнём!

Обзор Gemini 2.5: функции и возможности#

Первая недавно выпущенная версия серии моделей Gemini 2.5 — экспериментальный релиз Gemini 2.5 Pro. Она предназначена для решения сложных задач: перед тем как ответить, модель обдумывает свой ответ. Для этого используются такие методы, как обучение с подкреплением (модель обучается на основе обратной связи) и prompting с цепочкой рассуждений (пошаговый подход к решению задач).

Одна из ключевых особенностей модели — огромное контекстное окно, способное вместить 1 миллион токенов (примерно миллион слов или их частей); ожидается, что в будущем его размер вырастет до 2 миллионов. Это позволяет модели одновременно обрабатывать большой объём информации и получать более подробные и точные результаты.

Помимо обработки языка, Gemini 2.5 можно использовать для следующих задач компьютерного зрения:

• Обнаружение объектов: процесс выявления и определения местоположения объектов на изображении. Его можно применять, например, в системах наблюдения или беспилотных автомобилях.

• Создание описаний изображений: задача заключается в генерации описательного текста для изображения. Это делает визуальный контент более доступным и понятным.

• Оптическое распознавание символов: технология преобразует текст на изображениях в редактируемый текст, пригодный для машинной обработки. Она полезна для оцифровки документов и автоматизации ввода данных.

Сравнительное тестирование Google Gemini 2.5 и других моделей#

Сегодня в сфере ИИ доступно несколько мультимодальных моделей, поэтому важно понимать, как Gemini 2.5 Pro выглядит на их фоне. Согласно результатам сравнительного тестирования, опубликованным Google DeepMind, Gemini 2.5 Pro демонстрирует впечатляющие результаты в широком спектре задач.

Например, в тесте Humanity’s Last Exam, имитирующем сложный экзамен по множеству предметов и проверяющем продвинутое рассуждение и общие знания, Gemini 2.5 Pro набирает около 18,8 %, опережая такие модели, как o3-mini от OpenAI, результат которой составляет примерно 14 %.

Рис. 2. Обзор результатов Gemini 2.5 Pro в сравнительных тестах.

Модель также очень хорошо справляется с математическими задачами и задачами программирования, часто достигая результатов моделей вроде OpenAI GPT-4.5, Claude 3.7 Sonnet, Grok 3 Beta и DeepSeek R1 или превосходя их, что демонстрирует её способность решать сложные задачи и обрабатывать большие объёмы данных.

Практическое знакомство с Gemini 2.5: как использовать Google Gemini API#

Gemini 2.5 Pro доступна на нескольких платформах. Ты можешь поэкспериментировать с ней в Google AI Studio и получить к ней доступ через приложение Gemini, если у тебя есть подписка Gemini Advanced. В объявлении о запуске Google DeepMind также упомянула, что вскоре модель будет поддерживаться в Vertex AI. Эти способы доступа упрощают разработчикам использование Gemini 2.5 Pro в реальных приложениях ИИ.

Однако если ты хочешь использовать Google Gemini API и начать работу всего за несколько минут без сложной настройки, а также лучше понять возможности модели в области компьютерного зрения, ознакомься с ноутбуком Ultralytics, демонстрирующим такие задачи, как обнаружение объектов и создание описаний изображений с помощью Gemini 2.5 Pro. Давай подробно разберём, чего ожидать от этого ноутбука.

Настройка инференса с ноутбуком Google Gemini 2.5#

Чтобы начать работу с ноутбуком Ultralytics и использовать Google Gemini 2.5, сначала нужно сгенерировать API-ключ через Google AI Studio. Этот ключ предоставляет доступ к Gemini API, чтобы ты мог использовать модель.

Получив API-ключ, убедись, что в твоём окружении установлены необходимые библиотеки, включая пакеты от Ultralytics и набор инструментов ИИ от Google. Этот шаг подробно описан в ноутбуке, поэтому ты легко сможешь выполнить инструкции и настроить рабочее пространство.

После настройки всех компонентов ты можешь подключиться к Gemini API, введя свой API-ключ (как показано ниже), чтобы связать рабочее пространство с моделью. После этого ты будешь готов отправлять Gemini 2.5 изображения и текстовые запросы.

По сути, ты можешь передать модели изображение и простую инструкцию, например «обнаружь объекты на этом изображении» или «опиши, что ты видишь», и получить нужные результаты. Благодаря такому простому процессу легко начать изучать возможности Gemini 2.5 в области компьютерного зрения.

Обнаружение объектов с помощью Google Gemini 2.5#

Один из ключевых примеров в ноутбуке — обнаружение объектов с помощью Gemini 2.5 Pro. В этом примере ты передаёшь модели изображение и простой запрос на обнаружение объектов.

Модель обрабатывает изображение и возвращает набор координат и меток для каждого найденного объекта; координаты представлены в нормализованном виде. Затем функции из пакета Ultralytics для Python преобразуют эти нормализованные значения в соответствии с фактическими размерами изображения и рисуют чёткие ограничивающие рамки вокруг каждого объекта, как показано ниже.

Рис. 3. Использование Google Gemini 2.5 для обнаружения объектов.

Создание описаний изображений с помощью Gemini 2.5#

Ещё один интересный пример в ноутбуке — создание описаний изображений с помощью Gemini 2.5 Pro. В этом примере ты передаёшь модели изображение и запрос на создание подробного описания его содержимого.

Затем модель анализирует визуальное содержимое и возвращает повествовательное описание, часто оформленное в виде нескольких предложений, которое передаёт как содержание, так и контекст изображения. Эта функция полезна для повышения доступности, обобщения визуальной информации и даже улучшения творческого повествования.

Повышение точности OCR с помощью моделей Google Gemini#

Одна из задач компьютерного зрения, использующая способность Gemini 2.5 Pro читать текст на изображениях, — OCR. В ноутбуке ты можешь передать модели изображение с текстом и запрос на его извлечение. Модель обрабатывает изображение и возвращает обнаруженный текст вместе с координатами его расположения, как показано ниже.

Затем функции из пакета Ultralytics для Python преобразуют эти нормализованные координаты в фактические размеры изображения и рисуют ограничивающие рамки вокруг областей с текстом. Такой аннотированный результат наглядно показывает, где расположен текст, что полезно для оцифровки документов, автоматизации ввода данных и повышения доступности.

Рис. 4. Извлечение текстовых данных на изображении с помощью Google Gemini 2.5.

Практическое применение Google Gemini 2.5#

Теперь, когда мы разобрали, как Google Gemini 2.5 Pro можно использовать для различных задач компьютерного зрения, давай рассмотрим реальные приложения, в которых пригодятся эти возможности.

Например, способность Gemini 2.5 Pro обнаруживать объекты может автоматически размечать и организовывать большие наборы изображений, значительно ускоряя такие задачи, как создание датасетов или управление контентом. Модель также можно использовать для анализа изображений в таких сферах, как розничная торговля и сельское хозяйство, — например, для обнаружения товаров на полках или выявления признаков стресса растений на фотографиях полей.

Рис. 5. Анализ состояния растения с помощью Gemini 2.5 Pro.

Функция создания описаний изображений может помочь пользователям с нарушениями зрения понять, что изображено на фотографии. Например, если у тебя есть снимок оживлённой улицы, модель может создать подробное описание сцены, указав типы транспортных средств, активность пешеходов и даже время суток по особенностям освещения.

Кроме того, функцию OCR в Gemini 2.5 можно использовать в самых разных приложениях. Например, ты можешь оцифровывать печатные документы, сканируя страницы или чеки. Эта возможность отлично подходит для автоматизации ввода данных, обработки форм и даже считывания текста с визитных карточек и вывесок.

В целом Google Gemini 2.5 Pro открывает возможности для широкого спектра практических приложений ИИ.

Основные выводы#

Google Gemini 2.5 Pro умеет не только генерировать и анализировать текст, но и выполнять такие задачи компьютерного зрения, как обнаружение объектов, создание описаний изображений и OCR. Благодаря огромному контекстному окну и улучшенным возможностям рассуждения модель создаёт подробные результаты с учётом контекста, хорошо подходящие для реальных сценариев.

По мере дальнейшего развития моделей ИИ такие инструменты, как Gemini 2.5 Pro, упрощают решение сложных задач в самых разных отраслях. Вероятно, ИИ будет использоваться ещё шире, поскольку всё больше организаций ищут гибкие мультимодальные решения, способные выполнять широкий спектр задач — от понимания визуальной информации до обработки языка.

Присоединяйся к нашему сообществу и узнавай о передовых проектах в области ИИ в нашем репозитории на GitHub. Посмотри, как применяется Vision AI в сельском хозяйстве, и узнай о роли ИИ в производстве на наших страницах решений. Изучи наши тарифы лицензирования и создавай решения для компьютерного зрения уже сегодня!