Попробуй Google Gemini 2.5 на практике для решения задач компьютерного зрения

Развитие AI идёт быстрыми темпами: новые инновации попадают в заголовки почти каждый день. Одним из таких прорывов стала Gemini 2.5 — мультимодальная модель от Google DeepMind, представленная 26 марта 2025 года. Традиционные большие языковые модели (LLM) обучаются на огромных объёмах данных и генерируют текст, похожий на человеческий, но Gemini 2.5 умеет гораздо больше.

Она задумана как «модель, которая размышляет» и способна обрабатывать изображения, аудио и видео. У неё улучшены навыки рассуждения и программирования. Примечательно, что модель хорошо справляется и с задачами компьютерного зрения, в которых машины интерпретируют и анализируют визуальные данные, например обнаруживают объекты, создают подписи к изображениям и распознают текст.

Рис. 1. Пример использования Gemini 2.5 для распознавания содержимого изображения.

В этой статье мы разберём один из блокнотов Ultralytics, который поможет тебе на практике познакомиться с возможностями Gemini 2.5 в области компьютерного зрения. Мы также подробнее рассмотрим ключевые особенности Gemini 2.5 и покажем, как с её помощью создавать решения для компьютерного зрения для реальных задач.

Обзор Gemini 2.5: функции и возможности#

Первой выпущенной версией серии Gemini 2.5 стала экспериментальная Gemini 2.5 Pro. Она предназначена для решения сложных задач и обдумывает ответ, прежде чем его выдать. Модель использует такие методы, как обучение с подкреплением (модель учится на обратной связи) и пошаговое рассуждение (последовательный подход к решению задач).

Одна из ключевых особенностей модели — огромное контекстное окно, вмещающее 1 миллион токенов (примерно миллион слов или частей слов); ожидается, что его размер вырастет до 2 миллионов. Благодаря этому модель может одновременно обработать большой объем информации и выдавать более подробные и точные результаты.

Помимо обработки языка, Gemini 2.5 можно использовать для решения следующих задач компьютерного зрения:

• Обнаружение объектов: процесс выявления объектов на изображении и определения их местоположения. Эта технология применяется, например, в системах видеонаблюдения и беспилотных автомобилях.
• Создание подписей к изображениям: задача заключается в генерации описательного текста для изображения. Это делает визуальный контент доступнее и понятнее.
• Оптическое распознавание символов: эта технология преобразует текст на изображениях в редактируемый, машиночитаемый текст. Она полезна для оцифровки документов и автоматизации ввода данных.

Сравнение Google Gemini 2.5 с другими моделями и оценка по тестам#

Сегодня в сфере ИИ доступно множество мультимодальных моделей, поэтому важно понять, как Gemini 2.5 Pro сравнивается с ними. Согласно результатам тестов, опубликованным DeepMind от Google, Gemini 2.5 Pro демонстрирует впечатляющие результаты в самых разных задачах.

Например, в тесте Humanity’s Last Exam, который имитирует сложный экзамен по множеству предметов и проверяет развитые навыки рассуждения и общие знания, Gemini 2.5 Pro набирает около 18,8%, опережая такие модели, как o3-mini от OpenAI, результат которой составляет примерно 14%.

Рис. 2. Обзор результатов Gemini 2.5 Pro в тестах.

Модель также очень хорошо справляется с математическими задачами и программированием, часто достигая результатов на уровне OpenAI GPT-4.5, Claude 3.7 Sonnet, Grok 3 Beta и DeepSeek R1 или превосходя их, что демонстрирует её способность решать сложные задачи и обрабатывать большие объёмы данных. В задачах обнаружения объектов более новые модели Gemini, например Gemini 4 Argon и Gemini 3.8 Flash, сравниваются с другими мультимодальными моделями в таблице лидеров VLM.

Практическое знакомство с Gemini 2.5: как использовать Google Gemini API#

Gemini 2.5 Pro доступна на нескольких платформах. Ты можешь экспериментировать с ней в Google AI Studio и пользоваться ею через приложение Gemini, если у тебя есть подписка Gemini Advanced. В анонсе запуска Google DeepMind также сообщила, что модель будет поддерживаться в Vertex AI. Эти способы доступа упрощают разработчикам использование Gemini 2.5 Pro в реальных приложениях AI.

Но если ты хочешь всего за несколько минут начать работу с Google Gemini API без сложной настройки и лучше разобраться в возможностях модели в области компьютерного зрения, загляни в ноутбук Ultralytics, где показано, как использовать Gemini 2.5 Pro для таких задач, как обнаружение объектов и создание подписей к изображениям. Давай подробно рассмотрим, что тебя ждёт в ноутбуке.

Настройка инференса в ноутбуке Google Gemini 2.5#

Чтобы начать работу с ноутбуком Ultralytics и использовать Google Gemini 2.5, сначала создай API-ключ в Google AI Studio. Этот ключ предоставит тебе доступ к Gemini API, чтобы ты мог использовать модель.

Получив API-ключ, убедись, что в твоём окружении установлены необходимые библиотеки, включая пакеты Ultralytics и инструментарий Google для работы с AI. Этот этап подробно описан в ноутбуке, поэтому ты легко сможешь настроить рабочее пространство, следуя инструкциям.

Когда всё будет настроено, подключись к Gemini API, введя свой API-ключ, как показано ниже. Это свяжет твоё рабочее пространство с моделью. После этого ты сможешь отправлять Gemini 2.5 изображения и текстовые запросы.

По сути, ты передаёшь модели изображение и простую инструкцию, например «найди объекты на этом изображении» или «опиши, что ты видишь», а она возвращает нужные результаты. Благодаря простоте этого процесса начать изучать возможности Gemini 2.5 в области компьютерного зрения очень легко.

Обнаружение объектов с помощью Google Gemini 2.5#

Один из ключевых примеров в ноутбуке — обнаружение объектов с помощью Gemini 2.5 Pro. В этом примере ты передаёшь модели изображение и простую подсказку с просьбой найти объекты.

Модель обрабатывает изображение и возвращает набор координат и меток для каждого найденного объекта; координаты представлены в нормализованном виде. Затем с помощью функций из пакета Ultralytics для Python эти значения преобразуются в соответствии с фактическими размерами изображения, а вокруг каждого объекта рисуются чёткие ограничивающие рамки, как показано ниже.

Рис. 3. Использование Google Gemini 2.5 для обнаружения объектов.

Создание подписей к изображениям с помощью Gemini 2.5#

Ещё один интересный пример из блокнота — создание подписей к изображениям с помощью Gemini 2.5 Pro. В этом примере ты передаёшь модели изображение и запрос с просьбой создать подробную подпись, описывающую его содержимое.

Затем модель анализирует визуальное содержимое и возвращает связное описание, часто состоящее из нескольких предложений и отражающее как содержание, так и контекст изображения. Эта функция полезна для повышения доступности, обобщения визуальной информации и даже создания более выразительных историй.

Повышение точности OCR с помощью моделей Google Gemini#

Одна из задач компьютерного зрения, в которой используется способность Gemini 2.5 Pro читать текст на изображениях, — OCR. В ноутбуке ты можешь передать модели изображение с текстом и попросить извлечь его. Модель обработает изображение и вернёт распознанный текст вместе с координатами его расположения, как показано ниже.

Затем функции из пакета Ultralytics для Python преобразуют нормализованные координаты в соответствии с фактическими размерами изображения и рисуют ограничивающие рамки вокруг областей с текстом. Такая разметка наглядно показывает расположение текста и пригодится для оцифровки документов, автоматизации ввода данных и повышения доступности.

Рис. 4. Извлечение текстовых данных из изображения с помощью Google Gemini 2.5.

Практическое применение Google Gemini 2.5#

Теперь, когда мы рассмотрели, как использовать Google Gemini 2.5 Pro для разных задач компьютерного зрения, давай изучим примеры практического применения этих возможностей.

Например, способность Gemini 2.5 Pro обнаруживать объекты помогает автоматически размечать большие коллекции изображений и упорядочивать их, значительно ускоряя такие задачи, как создание датасетов и управление контентом. Модель также можно использовать для анализа изображений в таких сферах, как розничная торговля и сельское хозяйство, например для обнаружения товаров на полках или признаков стресса посевов на фотографиях полей.

Рис. 5. Gemini 2.5 Pro анализирует состояние растения.

Функция создания подписей к изображениям может помочь людям с нарушениями зрения понять, что изображено на картинке. Например, если у тебя есть фотография оживлённой улицы, модель может подробно описать сцену: упомянуть типы транспортных средств, действия пешеходов и даже время суток, определив его по освещению.

Кроме того, функцию OCR в Gemini 2.5 можно применять во множестве задач. Например, ты можешь оцифровывать печатные документы, сканируя страницы или чеки. Эта возможность отлично подходит для автоматизации ввода данных, обработки форм и даже распознавания текста на визитках и вывесках.

В целом Google Gemini 2.5 Pro открывает широкие возможности для практического применения AI.

Главные выводы#

Google Gemini 2.5 Pro умеет не только генерировать и анализировать текст: её можно использовать и для задач компьютерного зрения, таких как обнаружение объектов, создание подписей к изображениям и OCR. Благодаря большому контекстному окну и улучшенным возможностям рассуждения модель выдаёт подробные результаты с учётом контекста, подходящие для реальных сценариев.

По мере развития моделей AI такие инструменты, как Gemini 2.5 Pro, помогают проще решать сложные задачи в разных отраслях. Вероятно, AI будет внедряться ещё шире: всё больше организаций ищут гибкие мультимодальные решения, способные справляться с самыми разными задачами — от понимания визуальной информации до обработки языка.

Стань частью нашего сообщества и узнай об AI-проектах в нашем репозитории на GitHub. Посмотри, как применяется Vision AI в сельском хозяйстве и какую роль играет AI в производстве, на страницах наших решений. Ознакомься с нашими тарифами на лицензии и создавай решения для компьютерного зрения уже сегодня!