获取 YOLO 许可
Ultralytics 平台

部署时的专用推理端点与共享推理对比

了解何时应在 Ultralytics Platform 上选择专用推理端点,以实现可扩展、低延迟的视觉 AI 部署,而不是使用共享推理。

Abirami VinaAbirami Vina7 分钟阅读
了解何时应在 Ultralytics Platform 上选择专用推理端点,以实现可扩展、低延迟的视觉 AI 部署,而不是使用共享推理。

最近,我们推出了 Ultralytics Platform,这是一个端到端解决方案,将完整的计算机视觉工作流整合到一个平台中,涵盖从数据集准备、模型训练,到推理、部署和监控的各个环节。

该平台根据计算机视觉社区的反馈构建,旨在通过提供支持视觉 AI 应用完整生命周期的集成功能,简化开发的每个阶段。

例如,在模型训练完成后,下一步就是部署模型,以便在实际应用中运行推理并做出预测。平台提供多种部署选项,让这一流程变得简单直接。

你可以导出模型,在自己的环境中运行;也可以使用共享推理进行快速测试,或部署专用端点,以支持可扩展、适用于生产环境的应用。这些部署选项都能运行 AI 推理,但分别针对不同阶段和使用场景设计。

Ultralytics Platform 支持可扩展的全球视觉 AI 模型部署

图 1. Ultralytics Platform 支持可扩展的全球视觉 AI 模型部署(来源)

模型导出让你完全掌控在自己的基础设施中运行模型;共享推理让你无需设置即可轻松测试和实验;专用端点则专为可靠的大规模生产工作负载而构建。

乍看之下,共享推理和专用端点似乎十分相似。两者都支持你向模型发送 API 请求并接收结构化预测结果,因此很容易将视觉 AI 集成到应用中。

不过,随着工作负载增长、计算机视觉应用开始处理实时推理请求,这些选项之间的差异会变得更加重要。本文将深入介绍共享推理和专用端点,对比两者、说明各自的适用场景,并解释为什么应用扩展时专用端点会成为更好的选择。

使用共享推理进行部署概览#

共享推理是一种简单的方式,无需设置任何基础设施,也不必操心 GPU 类型、框架集成或运行时配置,就能让模型运行 AI 推理。模型训练或微调完成后,你可以直接通过平台使用模型进行预测。

在这种设置下,模型运行在共享的多租户计算资源上,覆盖美国、欧洲和亚太地区等几个主要区域。请求会自动路由至可用服务,因此你无需配置 GPU 实例或运行时环境。平台会为你处理一切,让你轻松上手。

使用共享推理时,你可以通过 Python 或 CLI 等工具,使用 REST API 向模型发送请求,并接收结构化的 JSON 输出,例如检测到的对象、置信度分数和其他预测详情。这让模型测试和应用集成变得简单。

由于系统资源由多个用户共享,它主要面向开发、测试和轻量级使用,适合验证预测结果和构建早期集成。同时,性能可能随系统负载而变化,并且每个 API 密钥的使用量限制为每分钟 20 个请求,因此不太适合高吞吐量的生产工作负载。

总的来说,共享推理最适合开发早期阶段,让你在转向更大规模的应用前了解并改进模型。

使用专用端点在全球部署模型#

专用端点是单租户推理服务,你的视觉 AI 模型运行在隔离的计算资源上。每个端点都拥有自己的运行时环境,并可配置 CPU 和内存等资源;与共享基础设施不同,这让你能更好地控制性能。

将模型部署为专用端点后,系统会为其分配唯一的 API URL,并使用你的 API 密钥进行身份验证,因此很容易将其集成到应用中。你可以在全球 42 个地区部署这些端点,让推理在更靠近用户的位置运行,从而降低延迟。

在全球 42 个地区部署专用端点

图 2. 你可以在全球 42 个地区部署专用端点(来源)

专用端点专为生产工作负载设计。与共享推理相比,它们能提供稳定的低延迟、更高的吞吐量和更可靠的性能。

此外,专用端点不受平台速率限制。请求会直接发送到你的端点,因此可处理的流量取决于端点资源,而不是固定的限制。

此外,内置监控、日志、运行状况检查以及可预测的运行时和启动行为,让你可以轻松跟踪性能,并在所有套餐中维持稳定部署。使用默认资源规格时,端点在空闲时会缩容至零,因此空闲一段时间后的第一个请求可能需要约一分钟才能完成启动。自定义资源规格会保持一个预热实例,从而带来更快且更可预测的推理性能。

简而言之,专用端点非常适合需要可靠、可扩展且高性能推理的实时视觉 AI 应用。

共享推理与专用端点:主要区别#

下面详细对比共享推理和专用端点:

  • 延迟:共享环境中的延迟可能因资源共享而波动,而专用端点能提供更稳定的低延迟响应。
  • 地区:共享推理仅在少数地区提供(美国、欧盟、亚太地区),而专用端点支持在全球 42 个地区部署。
  • 可扩展性:共享推理不支持配置扩缩容,而专用端点允许你选择 CPU 和内存资源。
  • 速率限制:共享推理设有速率限制(每个 API 密钥每分钟 20 次请求或 API 调用),而专用端点没有平台速率限制。
  • 定价:共享推理可免费用于测试和开发,无需额外付费;专用端点则提供更强的控制能力和可扩展性,费用取决于资源配置和部署需求。

为什么专用端点更适合生产工作负载#

随着 AI 和机器学习应用从测试走向实际使用,性能、可扩展性和可靠性变得至关重要。这就是专用端点相较于共享推理具有明显优势的原因。

使用专用端点时,你的预训练模型或自定义模型运行在独立的计算资源上,因此性能不会受到其他用户影响。这有助于保持低延迟和稳定性能,这对视频分析和监控系统等实时应用非常重要。

使用专用推理端点进行部署

图 3. 使用专用推理端点进行部署(来源)

例如,设想一个零售分析系统,需要处理多家门店的实时摄像头画面。通过在全球 42 个地区部署端点,推理可以在更靠近各门店的位置运行,从而降低延迟并缩短响应时间。

而在资源共享且可用区域有限的共享推理环境中,繁忙时段的性能可能会出现波动。

专用端点也能处理更大的流量。借助内置监控、日志和运行状况检查,它们能提供更可预测的性能,因此适合大规模、持续运行的 AI 工作负载。

共享推理在视觉 AI 工作流中的定位#

在了解共享推理和专用端点之间的差异时,你可能会想知道共享推理在完整的计算机视觉工作流中发挥什么作用。

再来看零售分析的例子。在将视觉解决方案部署到多家门店之前,团队通常需要先用真实数据测试其表现,并根据测试结果进行改进。

共享推理让这一流程变得简单:你可以发送来自门店摄像头的样本图像或视频帧,快速查看预测结果,而无需设置基础设施。这对于测试模型行为、调试错误预测,以及验证模型在不同条件下的结果尤其有用,例如光照变化或门店布局不同的情况。

通过这样反复迭代,团队可以在投入生产前提升模型的准确性和可靠性。模型在这些测试场景中表现良好后,就可以部署到专用端点,在多个地点实时使用。

共享推理也适用于使用量较低或不频繁的应用。例如,小型零售店可以偶尔用它分析客流,或在特定时段查看顾客活动,而无需进行完整的规模化部署。在这些情况下,共享推理提供了一种简单、经济高效的按需推理方式。

专用端点的真实应用场景#

随着 AI 应用从测试走向实际使用,部署选择会直接影响性能、可扩展性和用户体验。专用端点凭借稳定的性能、低延迟和处理大规模工作负载的能力,可广泛应用于各行各业。

以下是一些常见场景,展示专用端点如何用于实际应用:

  • 零售与视频分析:零售连锁企业可以利用计算机视觉追踪顾客动向、识别热门商品,并实时监控门店活动。专用端点能确保多个门店位置的推理速度快且稳定,即使在高峰时段也不例外。
  • 制造业与质量检测:在生产线上,模型可以在产品流经系统时检测缺陷或异常。专用端点支持持续的实时推理,帮助团队及早发现问题、维持产品质量,同时避免拖慢生产运营。
  • 医疗保健与医学影像:医疗服务提供者和诊断实验室可以依靠视觉模型分析 X 光片或扫描图像等医学影像。专用端点能提供可靠且稳定的性能;处理敏感数据和时间紧迫的诊断时,这一点至关重要。
  • 仓储与物流自动化:大型仓库通常会运行多套相同的系统,例如传送带和分拣线,它们实际上是同一套配置的多个副本。计算机视觉模型可以监控每个副本,检测堵塞或包裹分拣错误等问题。专用端点可确保所有副本都能实时获得稳定的推理服务。

从共享推理迁移到专用端点#

Ultralytics Platform 的一大优势是,随着应用增长,从共享推理切换到专用端点非常简单。你无需更换工具或重建设置,就能在同一环境中迁移到适用于生产环境的部署方案。

使用共享推理测试模型后,下一步就是轻松迁移到专用端点。你可以将同一个模型部署到端点,选择首选区域和计算资源,然后在应用中更新端点 URL。整体集成方式基本不变,因此发送请求或处理响应的方式几乎无需调整。

在 Ultralytics Platform 上查看专用端点 URL

图 4. 在 Ultralytics Platform 上查看专用端点 URL(来源)

这意味着你只需点击几下,就能从测试扩展到生产环境。随着工作负载增加,或应用对性能一致性的要求提高,你可以迁移到专用端点,而不会中断现有工作流。

要进一步了解如何在 Ultralytics Platform 上使用专用端点部署模型,请查看官方 Ultralytics Platform 文档。

要点#

共享推理是测试和实验的绝佳起点,但生产工作负载需要更稳定的性能和更强的扩展能力。随着应用增长,专用端点能提供支持实际使用所需的性能与可靠性。因此,它们是大多数生产部署的最佳选择。

加入我们的社区,并浏览我们的 GitHub 代码库,进一步了解计算机视觉模型。在我们的解决方案页面上,阅读 AI 在农业中的应用和计算机视觉在机器人领域的应用等内容。查看我们的许可选项,开始使用视觉 AI。

作者

Abirami Vina
Abirami Vina

内容创作者 · Ultralytics

Abirami Vina 职业生涯始于计算机视觉工程师,由此在视觉 AI 和机器学习领域打下了坚实基础。她是 Ultralytics 的内容创作者,也是 Scribe of AI 的创始人兼首席撰稿人,为专注 AI 的公司撰写高质量技术内容。她热衷于让 AI 更易理解、更具吸引力,通过自己的作品连接前沿技术与现实影响。

评论

提出问题、分享你的结果,或帮助其他人。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来