Ultralytics YOLO27: 加入候补名单。
获取 YOLO 许可
视觉 AI

上手体验 Google Gemini 2.5 计算机视觉任务

了解如何使用 Google Gemini 2.5 完成目标检测、图像描述和 OCR 等计算机视觉任务,为视觉 AI 解决方案提供支持。

Abirami VinaAbirami Vina6 分钟阅读
使用 Google Gemini 2.5 执行计算机视觉任务

AI 技术发展迅速,几乎每天都有新突破登上新闻。一项这样的突破是 Gemini 2.5,这是 Google DeepMind 于 2025 年 3 月 26 日推出的多模态模型。传统大型语言模型(LLM)可以从海量数据中学习并生成类似人类的文本,而 Gemini 2.5 的能力不止于此。

它被设计为一种“思考模型”,能够处理图像、音频和视频,并增强了推理和编码能力。有趣的是,它在计算机视觉任务方面也表现出色。这类任务需要机器解读和分析视觉数据,例如目标检测、图像描述和光学字符识别(OCR)。

使用 Gemini 2.5 理解图像内容

图 1. 使用 Gemini 2.5 理解图像内容的示例。

本文将带你了解 Ultralytics 的一个 Notebook,帮助你亲自体验 Gemini 2.5 的计算机视觉能力。我们还将深入介绍 Gemini 2.5 的主要功能,并展示如何利用它构建适用于现实应用的计算机视觉解决方案。

Gemini 2.5 概览:功能与能力#

Gemini 2.5 系列发布的首个版本是 Gemini 2.5 Pro 的实验版。它旨在先推敲答案再作答,以处理复杂问题。它采用了强化学习(模型从反馈中学习)和思维链提示(分步骤解决问题)等方法。

它的一项主要功能是超大的上下文窗口,可容纳 100 万个 token(约等于 100 万个单词或词素),预计容量还将增至 200 万。这意味着模型可以一次获取大量信息,从而生成更详细、更准确的结果。

除了处理语言之外,Gemini 2.5 还可用于以下计算机视觉任务:

  • 目标检测:这是识别和定位图像中物体的过程。它可用于监控或自动驾驶汽车等应用。
  • 图像描述:此任务是为图像生成描述性文本,让视觉内容更易于访问和理解。
  • 光学字符识别:这项技术可以将图像中的文字转换为可编辑、机器可读的文本。它适用于文档数字化和数据录入自动化。

Google Gemini 2.5 与其他模型的基准测试和比较#

如今 AI 领域有多种多模态模型,因此了解 Gemini 2.5 Pro 与它们相比表现如何非常重要。根据 Google DeepMind 分享的基准测试结果,Gemini 2.5 Pro 在多种任务中都表现出色。

例如,在名为 Humanity’s Last Exam 的测试中,Gemini 2.5 Pro 的得分约为 18.8%。该测试模拟了一场涵盖多个学科的高难度考试,用来评估高级推理和通识知识;Gemini 2.5 Pro 的得分超过了 OpenAI 的 o3-mini 等模型,后者得分约为 14%。

Gemini 2.5 Pro 基准测试表现概览

图 2. Gemini 2.5 Pro 基准测试表现概览。

它在数学和编程挑战中也表现出色,往往能达到或超过 OpenAI GPT-4.5、Claude 3.7 Sonnet、Grok 3 Beta 和 DeepSeek R1 等模型的表现,展现出处理复杂任务和大量数据的能力。在目标检测方面,较新的 Gemini 模型(例如 Gemini 4 Argon 和 Gemini 3.8 Flash)会与其他多模态模型在 VLM Leaderboard 上进行比较。

Gemini 2.5 实战入门:如何使用 Google Gemini API#

Gemini 2.5 Pro 可在多个平台上使用。你可以在 Google AI Studio 中试用,也可以通过 Gemini 应用访问,供 Gemini Advanced 用户使用。Google DeepMind 在发布公告中还提到,该模型将支持 Vertex AI。这些访问渠道让开发者可以轻松地将 Gemini 2.5 Pro 用于实际 AI 应用。

不过,如果你想使用 Google Gemini API,在短短几分钟内快速上手,而不必进行复杂的设置,并希望进一步了解它的计算机视觉能力,可以查看这份 Ultralytics 笔记本,其中展示了使用 Gemini 2.5 Pro 执行目标检测和图像描述等任务。下面我们来详细了解你可以在笔记本中体验到的内容。

使用 Google Gemini 2.5 笔记本配置推理#

要开始使用 Ultralytics 笔记本和 Google Gemini 2.5,你首先需要通过 Google AI Studio 生成 API 密钥。这个密钥可让你访问 Gemini API,从而使用该模型。

获取 API 密钥后,请确保环境中已安装所需的库,包括来自 Ultralytics 和 Google AI 工具包的程序包。笔记本中清楚地说明了这一步骤,你可以轻松按照说明配置工作区。

完成所有配置后,你可以输入 API 密钥(如下所示)连接到 Gemini API,从而在工作区和模型之间建立连接。之后,你就可以向 Gemini 2.5 发送图像和文本提示了。

基本上,你可以向模型提供一张图像和一条简单指令(例如“检测图像中的物体”或“描述你看到的内容”),模型就会返回所需结果。这个简单直接的流程让你可以轻松开始探索 Gemini 2.5 的计算机视觉能力。

使用 Google Gemini 2.5 进行目标检测#

笔记本中的一个关键示例是使用 Gemini 2.5 Pro 进行目标检测。在这个示例中,你向模型提供一张图像和一条用于检测物体的简单提示。

模型会处理图像,并返回它检测到的每个物体对应的一组坐标和标签;这些坐标采用归一化形式。随后,使用 Ultralytics Python 程序包中的函数将这些归一化值转换为与图像实际尺寸相匹配的数值,并为每个物体绘制清晰的边界框,如下所示。

使用 Google Gemini 2.5 进行目标检测

图 3. 使用 Google Gemini 2.5 进行目标检测。

使用 Gemini 2.5 生成图像描述#

Notebook 中另一个有趣的示例是使用 Gemini 2.5 Pro 生成图像描述。在这个示例中,你向模型提供一张图像,并提示它生成详细说明图像内容的描述。

随后,模型会分析视觉内容并返回一段描述,通常由多个句子组成,涵盖图像的内容和背景信息。这项功能有助于提升无障碍体验、总结视觉信息,甚至增强创意叙事效果。

使用 Google Gemini 模型提高 OCR 准确率#

OCR 是一项计算机视觉任务,它利用 Gemini 2.5 Pro 读取图像中的文字。在笔记本中,你可以向模型提供一张含有文字的图像,并提示它提取文字。模型会处理图像,并返回检测到的文字及其所在位置的坐标,如下所示。

随后,使用 Ultralytics Python 程序包中的函数将这些归一化坐标转换为图像的实际尺寸,并在文字区域周围绘制边界框。这些经过标注的输出会清楚地标出文字位置,有助于将文档数字化、自动录入数据并提升无障碍体验。

使用 Google Gemini 2.5 提取图像中的文本数据

图 4. 使用 Google Gemini 2.5 提取图像中的文本数据。

Google Gemini 2.5 的实际应用#

现在,我们已经介绍了如何使用 Google Gemini 2.5 Pro 执行各种计算机视觉任务,接下来一起看看这些能力有哪些实际应用。

例如,Gemini 2.5 Pro 的目标检测能力有助于自动标注和整理大量图像,让数据集创建或内容管理等任务变得快得多。它还可用于分析零售和农业等领域的图像,例如检测货架上的商品,或识别农田照片中作物遭受胁迫的迹象。

Gemini 2.5 Pro 分析植物的健康状况

图 5. Gemini 2.5 Pro 分析植物的健康状况。

与此同时,该模型的图像描述功能可以帮助视障用户了解图像内容。例如,如果你有一张繁忙街道的照片,模型可能会生成一段详细描述,说明场景中的车辆类型、行人活动,甚至根据光线线索判断一天中的时段。

此外,Gemini 2.5 的 OCR 功能可以应用于多种场景。例如,你可以扫描纸张或收据,将印刷文档数字化。这项能力非常适合自动录入数据、处理表单,甚至读取名片和标牌上的文字。

总的来说,Google Gemini 2.5 Pro 为各种实用的 AI 应用打开了大门。

要点#

Google Gemini 2.5 Pro 不仅能生成和分析文本,还能用于目标检测、图像描述和 OCR 等计算机视觉任务。凭借庞大的上下文窗口和增强的推理能力,它可以生成详细且能结合上下文的结果,在实际场景中表现出色。

随着 AI 模型不断发展,Gemini 2.5 Pro 这类工具让跨行业解决复杂问题变得更加容易。随着越来越多的组织寻求灵活的多模态解决方案来处理从视觉理解到语言处理的各种任务,AI 很可能会得到更广泛的应用。

加入我们的社区,了解 AI 项目,并访问我们的 GitHub 代码库。在我们的解决方案页面中,了解视觉 AI 在农业领域的应用以及AI 在制造业中的作用。查看我们的许可方案,立即构建计算机视觉解决方案!

作者

Abirami Vina
Abirami Vina

内容创作者 · Ultralytics

Abirami Vina 职业生涯始于计算机视觉工程师,由此在视觉 AI 和机器学习领域打下了坚实基础。她是 Ultralytics 的内容创作者,也是 Scribe of AI 的创始人兼首席撰稿人,为专注 AI 的公司撰写高质量技术内容。她热衷于让 AI 更易理解、更具吸引力,通过自己的作品连接前沿技术与现实影响。

评论

提出问题、分享你的结果,或帮助其他人。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来