Ultralytics YOLO27: 加入候补名单。
获取 YOLO 许可
指南

了解 Ultralytics 的语义图像搜索解决方案

了解 Ultralytics 的语义图像搜索解决方案如何快速匹配图像与查询内容,让创意和研究工作流程更高效。

Abirami VinaAbirami Vina6 分钟阅读
Ultralytics 语义图像搜索通过自然语言查询匹配图像

浏览数百张图片的图库很快就会让人不知所措,尤其是当你想找非常具体的内容时。例如,有人要找一张古罗马地图,却可能搜到随机的城市地图或旅行照片。

出现这些情况,是因为大多数图像搜索系统依赖文件名或标签。虽然这种方式适用于一般搜索,但在需要准确度、细节和上下文时往往难以满足要求。

事实上,设计、营销和研究等领域的许多人都很难找到合适的图片,因为关键词搜索很少能准确找到他们想要的特定内容。这可能会造成延误并影响工作效率。

不过,得益于人工智能(AI)的最新进展,图像搜索工具的传统局限正逐渐被更智能、更直观的系统所取代。例如,计算机视觉是 AI 的一个分支,专注于解读和理解视觉数据。它通过分析图像的实际内容,让图像搜索更快速、更准确。

具体来说,语义图像搜索不只是匹配关键词,还能理解搜索背后的含义。你可以用自然语言描述要找的内容,系统会找到符合这一概念的图像,而不只是匹配标签。例如,传统系统搜索“动物园里的动物”时可能会返回随机的动物图片,而语义搜索能理解上下文,找到动物园场景中的动物图片。

使用语义图像搜索检索动物园中的动物图片

图 1. 使用语义图像搜索检索动物园中的动物图片示例。

本文将介绍语义图像搜索的工作原理,并探讨一些真实应用案例。我们还将了解 Ultralytics 的语义图像搜索解决方案,它能让你轻松地在日常项目中应用这一概念。

Ultralytics 语义图像搜索解决方案概览#

Ultralytics Python 包提供一系列适用于常见计算机视觉应用的开箱即用解决方案,包括队列管理、基于区域的目标计数、距离计算和语义图像搜索。这些解决方案易于使用,即使没有 AI 或计算机视觉专业知识也能上手。

其中,语义图像搜索解决方案支持用户使用自然语言描述查找相关图像,而不必依赖文件名或手动添加的标签。它能理解搜索查询背后的含义,并返回符合这一概念的图像,因此在精确度和上下文都很重要时尤其有用。

语义图像搜索解决方案的工作原理#

Ultralytics 的语义图像搜索解决方案由 OpenAI 的 CLIP(对比语言-图像预训练)模型驱动。CLIP 会将文本和图像转换为称为嵌入的数值表示,以捕捉文本和图像的含义与上下文。随后,解决方案会根据图像与查询嵌入之间的余弦相似度对图像排序,找出最相关的图像。该解决方案的早期版本使用 Meta 的 FAISS(Facebook AI 相似性搜索)库来执行这一步搜索。

此外,这一解决方案还配有使用 Flask 构建的简洁网页界面,方便用户使用。用户可以输入自然语言查询并检索匹配的图像,无需手动标注或准备数据。

这一解决方案的一项主要优势是零样本能力。这意味着它能够解读并响应有关未经过专门训练的物体或场景的查询。借助对语言和视觉的广泛理解,即使内容陌生或没有标签,它也能返回相关结果。

例如,如果你使用该解决方案搜索“办公环境”,它可能会返回办公桌、会议室或工作空间的图像,即使这些词语并未与文件关联。这使 Ultralytics 的语义图像搜索成为创意项目、研究和大型图像库管理中实用且灵活的工具。

使用语义图像搜索查询办公环境图片

图 2. 使用 Ultralytics 语义图像搜索解决方案查询办公环境图片。

语义图像搜索解决方案的实际应用#

现在我们对 Ultralytics 的语义图像搜索解决方案有了更深入的了解,接下来看看一些实际应用案例,并了解不同行业如何将其融入视觉工作流。

使用 AI 驱动的图像搜索工具管理数据集#

管理海量图像数据集是构建计算机视觉解决方案时最耗时的任务之一。在大多数情况下,开发者并不需要整个数据集,而可能只需要特定类型的图像来训练模型或创建干净的验证集。但要从数千张图像中找到这些目标图像并不容易。

假设你正在开展一个涉及骑马图像的项目。你可能只需要骑手戴着头盔、与他人一起骑马,或从侧面拍摄到骑行动态瞬间的照片。如果没有合适的标签,手动查找这些图像会耗费大量时间和精力。

Ultralytics 支持的语义图像搜索解决方案能够解决这一问题,让开发者可以使用自然语言查询快速找到所需内容,即使数据集杂乱或没有标签也不例外。这样可以减少整理数据所花的时间,让团队更高效地专注于构建更好的模型。

轻松在大型数据集中搜索特定图像

图 3. 你可以轻松在大型数据集中搜索特定图像。

电商商品的零样本图像搜索#

在网上搜索特定商品可能会让人感到沮丧。购物者通常会用自己的说法描述想找的东西,但商品列表可能使用不同的术语或标签。这种不匹配会让人更难找到合适的商品,尤其是在大型目录中。

假设有人正在选购家具,并搜索“沙发、椅子和桌子套装”。他们想找的商品可能被列在另一个名称下,例如“三件套休闲家具组合”。由于搜索词并不完全匹配,即使该商品正是客户需要的,搜索结果中也可能不会显示。

语义图像搜索将用户意图与相关商品图片相匹配

图 4. Ultralytics 的语义图像搜索解决方案有助于将用户意图与相关商品图片相匹配。

媒体与出版领域的高级图像索引#

同样,在新闻、博客和数字营销等领域,视觉内容对讲故事至关重要。合适的图片可以传达信息、营造氛围并吸引读者。然而,要找到完美的图片,往往需要在大量文件中反复查找。

一个典型例子是博主撰写有关家居装饰趋势的文章。他们可能想要一张光线自然、明亮简约的客厅图片。但如果可用图片只标注了“房间”或“室内”等通用词语,找到合适的图片可能会让人十分苦恼。

使用语义图像搜索时,他们只需输入一句描述,例如“有大窗户的明亮简约客厅”,就能立即检索到符合这一概念的图像。无需依赖完全匹配的标签或文件名。

内容团队使用语义图像搜索优化图片选择

图 5. 内容团队可以使用 Ultralytics 的语义图像搜索解决方案,优化图像选择。

用于获取艺术和设计灵感的语义图像搜索#

通常,设计情绪板或为新项目收集灵感等创意工作,都需要在大量图像中搜索,找到符合特定风格或构想的视觉素材。一个有趣的例子是,设计师为一部电影设计布景。他们可能需要营造特定的情绪、年代或氛围,范围可以从未来风格的城市,到仿佛来自 20 世纪 80 年代的舒适客厅。

Ultralytics 的语义图像搜索通过将语言与视觉含义关联起来,让这项工作变得更轻松。这样,团队就能快速探索构想、专注于手头工作,不会因手动搜索而放慢进度。

语义图像搜索助力创意项目更快探索视觉素材

图 6. Ultralytics 的语义图像搜索解决方案助力创意项目更快探索视觉素材。

以下是使用 AI 图像搜索改善视觉工作流、提高搜索效率的一些主要优势:

  • 支持自然语言: 用户可以用自己的话描述图像来查找,无需使用预先定义的标签。
  • 支持常见图像格式:这类系统通常支持 JPG 和 PNG 等标准格式,因此无需转换或重新调整文件格式。
  • 可与其他工具集成:AI 图像搜索通常可以嵌入更大型的流水线、仪表板或创意软件中。

AI 图像搜索解决方案虽然有很多优势,但也有一些需要注意的局限。以下是一些需要考虑的因素:

  • 对冷门查询的准确性有限:如果查询非常具体或不常见,由于模型训练数据存在缺口,系统返回的结果可能不太相关。
  • 训练数据中的偏见: AI 模型可能会反映训练数据集中的偏见,从而导致结果存在偏差或不完整。
  • 性能取决于图像质量:分辨率较低或不清晰的图像会降低嵌入生成效果和搜索准确性。

要点#

语义图像搜索将重点从匹配关键词转向理解含义,帮助用户根据上下文查找图像,而不仅仅依赖标签或文件名。这样一来,搜索体验更快速、更准确,也更符合用户的实际需求。

对于创意团队和内容驱动型行业来说,这意味着花在筛选无关文件上的时间更少,投入构思开发的时间更多。管理大量视觉数据的组织可以使用 Ultralytics 的语义图像搜索等解决方案,简化内容发现、减少手动筛选,并根据视觉上下文做出更明智、更快速的决策。

加入我们的社区,并浏览我们的 GitHub 代码库,了解更多 AI 相关信息。访问我们的解决方案页面,进一步了解物流领域的 AI和医疗保健领域的计算机视觉等创新应用。查看我们的许可选项,立即开始使用!

作者

Abirami Vina
Abirami Vina

内容创作者 · Ultralytics

Abirami Vina 职业生涯始于计算机视觉工程师,由此在视觉 AI 和机器学习领域打下了坚实基础。她是 Ultralytics 的内容创作者,也是 Scribe of AI 的创始人兼首席撰稿人,为专注 AI 的公司撰写高质量技术内容。她热衷于让 AI 更易理解、更具吸引力,通过自己的作品连接前沿技术与现实影响。

评论

提出问题、分享你的结果,或帮助其他人。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来