在计算机视觉项目中运用强化学习

通俗地说，人工智能（AI）是一个致力于重现人类思考和学习方式的领域。AI 学习技术的概念正是由此而来：这些技术是让机器能够像人一样，随着时间推移不断提升性能的不同方法。

此前，我们探讨过一些重要的 AI 学习技术，包括监督学习、无监督学习、强化学习和迁移学习，以及每种技术如何帮助 AI 模型处理信息并做出决策。

今天，我们将深入了解强化学习。这是一种通过与环境交互、从经验中学习并根据反馈不断改进 AI 系统的技术。具体来说，我们将探讨如何将强化学习应用于计算机视觉领域；计算机视觉系统能够让机器解读并理解来自现实世界的视觉信息。

将强化学习和计算机视觉等概念结合起来，正在开启令人振奋的新可能，也是一个活跃的研究领域。它使 AI 系统能够识别所看到的内容，并根据这些视觉信息做出明智的决策。

什么是强化学习？#

强化学习是机器学习的一个分支，AI 智能体通过采取行动并接收奖励或惩罚形式的反馈来学习。其目标是找出哪些行动能随着时间推移带来最佳结果。

你可以把强化学习想象成训练一只狗。狗听从指令坐下时，你就给它一块零食。过一段时间，狗就会明白坐下会得到奖励。在强化学习中，AI 智能体或模型就像那只狗；环境是它周围的世界，而奖励则帮助它判断自己的行动是否正确。

这与监督学习不同。在监督学习中，AI 模型会看到许多正确答案的示例。例如，模型可能会看到一张狗的图片，并被告知：“这是一只狗。”

而强化学习不依赖标注数据。相反，它通过尝试不同的行动并从结果中学习，就像玩游戏时摸索哪些招数能让你获胜一样。

图 1。强化学习与监督学习的比较。

强化学习对于需要逐步做出决策的任务至关重要，因为每个选择都会影响接下来发生的事情。这种学习方式用于策略类电子游戏，让玩家获得更具挑战性和吸引力的游戏体验。

强化学习在 AI 解决方案中的工作原理#

想想你是如何学会骑自行车的。刚开始时，你可能会摔倒。但通过练习，你会逐渐摸索出如何保持平衡。骑得越多，骑得就越好。你是通过亲自尝试来学习，而不只是听别人告诉你该怎么做。

强化学习在 AI 中的运作方式与此类似。AI 通过经验学习：尝试不同的行动，观察结果，并逐渐提升随着时间推移做出正确选择的能力。

图 2。了解强化学习的工作原理。

下面来看看强化学习的一些关键组成部分：

• 智能体：智能体是学习者或决策者。它通过采取行动与环境交互，并以实现特定目标为目的。
• 环境：环境包含智能体与之交互的一切。环境会根据智能体的行动发生变化，并根据结果提供反馈。
• 状态：状态是对环境当前情况的快照。智能体观察状态，以了解周围情况并确定下一步采取什么行动。
• 行动：行动是智能体做出的、会影响环境的举动或决策。每个行动都会带来一个新状态，并可能影响未来的奖励。
• 奖励：奖励就是环境提供的反馈，用来告知智能体其行动是否有益。正向奖励会鼓励智能体重复好的行动，而负向奖励会让智能体避免不佳的行动。
• 策略：策略是智能体根据当前状态选择行动的方法。随着时间推移，智能体会不断改进策略，以最大化可获得的总奖励。

将这些组成部分结合起来，强化学习便能让 AI 系统通过持续试错学习有效行为。每次尝试都会让智能体更擅长选择能够带来更高奖励和更好结果的行动。

强化学习在计算机视觉领域的创新#

计算机视觉用于执行多种任务，例如检测图像中的物体、对图片内容进行分类，以及将图像分割成不同部分。Ultralytics YOLO11 等计算机视觉模型支持这类任务，可用于构建能够获取视觉洞察的实用应用。

然而，将这些视觉 AI 任务与强化学习结合后，得到的 AI 解决方案不再只是看见画面，还能根据视觉洞察学习如何采取行动，并随着时间推移不断改进。

计算机视觉应用中的一个有趣的强化学习案例是仓库机器人。配备摄像头和计算机视觉系统的机器人可以分析周围环境，检测每件物品的位置，识别物品的形状和大小，并了解物品在货架上的摆放方式。

每次尝试拾取物品时，机器人都会收到反馈：正确拾取即为成功，物品掉落则为失败。随着时间推移，机器人会学会针对不同物品采取哪些行动最有效。机器人不再遵循固定指令，而是通过经验持续改进。

图 3. 使用视觉 AI 和强化学习拾取物体的机械臂。

强化学习在计算机视觉中的应用#

现在我们已经更好地了解了强化学习是什么，以及它在计算机视觉中的作用，接下来就深入看看强化学习和计算机视觉结合应用的一些实例。

结合视觉 AI 和强化学习，打造更智能的车辆#

自动驾驶汽车可以利用视觉 AI 理解周围环境，并通过强化学习根据所见信息做出决策。AWS DeepRacer 就是一个很好的实际案例。

AWS DeepRacer是一款 1/18 比例的全自动赛车，利用摄像头和强化学习来学习驾驶。它不会接收具体指令，而是通过不断尝试、犯错并从中学习，自己摸索出驾驶方法。

这辆微型赛车的摄像头就像一双眼睛，能够捕捉前方赛道的画面。赛车会根据所见内容学习如何转向以及行驶速度。每跑一圈，它都会有所进步。例如，它可能通过以往的尝试学会转更大的弯，或在急弯前减速。

DeepRacer 的训练从虚拟环境开始，模型会在其中练习并提升驾驶技能。达到一定性能水平后，这些技能会迁移到配备实体赛车的真实赛道上。

图 4. AWS DeepRacer 使用视觉和强化学习实现自动驾驶。图片来源：Amazon。

迈向自主手术机器人#

一个正受到关注的研究方向，是将视觉 AI 和强化学习应用于机器人手术。目前，这项应用在很大程度上仍停留在理论阶段。研究人员正在虚拟环境中运行模拟。

不过，早期实验已显示出可喜的成果，表明手术机器人最终有望以更高的精度和适应性，在尽量减少人工干预的情况下完成复杂、精细的手术。

图 5. 手术机器人正变得越来越先进。

例如，设想需要从手术部位小心地提起一块纱布。配备视觉 AI 的机器人会先分析场景，使用分割识别纱布和周围组织。

随后，强化学习会帮助手术机器人决定如何执行任务：确定抓取纱布的最佳角度、施加多大压力，以及如何在不触碰附近敏感区域的情况下将其提起。随着时间推移，并通过在模拟环境中反复练习，机器人可以逐渐学会更加熟练、自信地完成这些细微而关键的动作。

强化学习在视觉 AI 中的优缺点#

强化学习让视觉 AI 系统不再局限于简单识别，而是能够开始根据所见内容做出决策。这为机器人、自动化和实时交互等领域带来了新的可能性。

以下是将强化学习集成到视觉 AI 工作流中的一些主要优势：

• 降低对标注数据的依赖： 这些系统可以通过交互学习，因此不需要庞大的已标注数据集就能开始工作。
• 更好地应对不确定性： 强化学习可以处理不完整或有噪声的视觉信息，根据反馈调整行动，而不是只依赖完美数据。
• 支持长期学习：它通过从一系列行动中学习，而非仅做单步决策，帮助模型不断进步。

另一方面，以下是使用强化学习时需要考虑的一些局限：

• 信用分配问题：智能体可能难以判断哪些具体行动促成了最终结果，尤其是在决策序列很长时。
• 探索过程中的安全风险： 训练期间，智能体可能会尝试不安全或不理想的行动，而这些行动在医疗保健或自动驾驶等实际应用中是不可接受的。
• 收敛速度慢：模型可能需要很长时间才能达到良好的性能，复杂任务尤其如此。

要点#

计算机视觉项目中的强化学习让 AI 系统能够了解周围环境，并通过经验学习如何行动。借助 Ultralytics YOLO11 等可实时检测物体的模型，系统可以根据所见内容做出明智决策。

这种方法突破了传统方式，不再只依赖标注数据，而是让 AI 通过试错和反馈不断改进。它支持持续学习，有助于构建更灵活、更具适应性和更智能的视觉 AI 系统，让系统随着时间推移不断变好。

加入我们不断壮大的社区。访问我们的 GitHub 仓库，深入了解 AI。想开始自己的计算机视觉项目吗？探索我们的许可选项。访问我们的解决方案页面，进一步了解制造业中的 AI和汽车行业中的视觉 AI。