在计算机视觉项目中利用强化学习

解释人工智能 (AI) 的一个直观方式是，它是一个专注于重现人类思考和学习方式的领域。这就是 AI 学习技术这一理念的来源，它们是让机器能够像人类一样随着时间推移提高性能的不同方法。

此前，我们探讨了关键的AI学习技术，包括监督学习、无监督学习、强化学习和迁移学习，以及它们各自在帮助AI模型处理信息和做出决策方面发挥的重要作用。

今天，我们将深入了解强化学习，这是一种通过与环境交互并根据反馈进行改进，教导AI系统通过经验进行学习的技术。具体来说，我们将探讨强化学习如何应用于计算机视觉应用——即让机器能够解释和理解来自世界的视觉信息的系统。

将强化学习和计算机视觉等概念结合在一起，开辟了令人兴奋的新可能性，并且是一个活跃的研究领域。它使 AI 系统能够识别所见事物，并根据这些视觉信息做出明智的决策。

什么是强化学习？#

强化学习是机器学习的一个分支，其中AI代理通过采取行动并获得奖励或惩罚形式的反馈来学习。其目标是弄清楚随着时间的推移，哪些行动会带来最好的结果。

你可以把强化学习想象成训练狗。当狗听从指令坐下时，你给它奖励。过了一会儿，狗就会学会坐下会带来奖励。在强化学习中，AI 智能体或模型就像那只狗；环境是它周围的世界，而奖励则帮助它理解自己是否做出了正确的举动。

这与监督学习不同，在监督学习中，AI 模型会被展示许多正确答案的示例。例如，模型可能会看到一张狗的照片，并被告知：“这是一只狗。”

另一方面，强化学习不依赖标记数据。相反，它涉及通过尝试不同的行动并从结果中学习，就像玩游戏并找出哪些动作能让你获胜一样。

图1. 强化学习与监督学习对比。

强化学习对于需要一步步做出决策且每种选择都会改变后续结果的任务至关重要。这种类型的学习被用于策略电子游戏中，以使游戏玩法对玩家更具挑战性和吸引力。

强化学习在 AI 解决方案中如何运作#

回想一下你是如何学会骑自行车的。起初，你可能会摔倒。但通过练习，你开始摸索出什么有助于保持平衡。你骑得越多，就骑得越好。你是通过实践来学习的，而不是仅仅被告知该怎么做。

强化学习在 AI 中的工作原理与之类似。它通过经验进行学习——尝试不同的动作，观察发生的情况，并随着时间的推移逐步提高做出正确选择的能力。

图2. 理解强化学习的工作原理。

以下是强化学习的一些关键组件：

• 智能体 (Agent)：智能体是学习者或决策者。它通过采取行动与环境进行交互，旨在实现特定目标。
• 环境 (Environment)：环境包括智能体与之交互的一切事物。它会随着智能体的行动而变化，并根据结果提供反馈。
• 状态 (State)：状态代表环境中当前情况的快照。智能体观察状态以了解其周围环境并确定下一步采取什么行动。
• 行动 (Action)：行动是智能体做出的影响环境的举动或决策。每个行动都会导致一个新的状态，并可能影响未来的奖励。
• 奖励 (Reward)：奖励仅仅是来自环境的反馈，它告诉智能体其行动是否有益。正向奖励鼓励智能体重复良好的行为，而负向奖励则阻止不良行为。
• 策略 (Policy)：策略是智能体基于当前状态选择行动的规划。随着时间的推移，智能体会改进其策略，以最大化其能获得的全部奖励。

通过将这些组件结合使用，强化学习使AI系统能够通过持续的试错来学习有效的行为。通过每一次尝试，代理选择能够带来更高奖励和更好结果的动作的能力就会不断提升。

计算机视觉创新中的强化学习#

计算机视觉用于诸如检测图像中的对象、对图片内容进行分类以及将图像分割成不同部分等任务。诸如Ultralytics YOLO11等计算机视觉模型支持此类任务，并可用于构建能够收集视觉见解的具有影响力的应用程序。

然而，当这些 Vision AI 任务与强化学习相结合时，结果就是一个不仅能“看见”，还能根据视觉洞察学习如何行动并随时间推移不断进步的 AI 解决方案。

强化学习在计算机视觉应用中的一个有趣例子是机器人在仓库中的使用。配备相机和计算机视觉系统的机器人可以分析其周围环境，检测每个物品的位置，识别其形状和大小，并了解其在货架上的摆放位置。

每次机器人尝试抓取物品时，它都会收到反馈——成功则物品被正确抓取，失败则物品掉落。随着时间的推移，机器人会学习到哪些动作对不同的物品最有效。它无需遵循一套固定的指令，而是通过经验不断改进。

图3. 使用视觉AI和强化学习来拾取物体的机械臂。

强化学习在计算机视觉中的应用#

现在我们对强化学习及其在计算机视觉中的作用有了更好的理解，让我们更深入地了解一些将强化学习和计算机视觉结合使用的示例。

集成 Vision AI 和强化学习以实现更智能的车辆#

自动驾驶汽车既可以依靠视觉AI来理解周围环境，也可以依靠强化学习根据所看到的内容做出决策。一个很好的实际例子就是AWS DeepRacer。

AWS DeepRacer是一款1/18比例的全自动赛车，它通过使用摄像头和强化学习来学习驾驶。它不是被告知该做什么，而是通过尝试、犯错并从中学习来自己摸索。

这辆小车的摄像头就像一双眼睛，捕捉前方的赛道。根据所见内容，汽车学习如何转向以及速度快慢。每一圈，它都会进步。例如，它可能会通过从过去的尝试中学习，学会以更宽的弧度转弯，或者在急转弯前减速。

DeepRacer 的训练始于虚拟环境，模型在那里练习并磨练其驾驶技能。一旦达到一定的性能水平，这些技能就会转移到带有实体汽车的现实赛道上。

图4. AWS DeepRacer使用视觉和强化学习来实现自主驾驶。图片来源：Amazon。

迈向自主手术机器人#

一个正在引起关注的令人兴奋的研究领域是将 Vision AI 和强化学习集成到机器人手术中。目前，该应用在很大程度上仍处于理论阶段。研究人员正在虚拟环境中运行模拟。

然而，早期的实验显示出有希望的结果，这表明手术机器人最终可以以更高的精度、适应性和极少的人工干预来执行复杂、精细的手术。

图5. 手术机器人正变得越来越先进。

例如，想象这样一种情况：需要从手术部位仔细提起一块纱布。配备视觉AI的机器人首先会分析场景，使用分割来识别纱布和周围的组织。

然后，强化学习将帮助手术机器人决定如何处理该任务，确定抓取纱布的最佳角度、施加多少压力，以及如何在不干扰附近敏感区域的情况下将其提起。随着时间和在模拟环境中进行的重复练习，机器人可以学会以越来越高的熟练度和信心执行这些微妙而关键的动作。

Vision AI 中强化学习的优缺点#

强化学习允许 Vision AI 系统超越简单的识别，并开始根据它们看到的内容做出决策。这在机器人、自动化和实时交互等领域开辟了新的可能性。

以下是将强化学习集成到 Vision AI 工作流中的一些主要优势：

• 对标记数据的依赖较少： 这些系统可以从交互中学习，因此它们不需要庞大的标记数据集即可开始使用。
• 更好地处理不确定性： 强化学习可以通过根据反馈调整行动来处理不完整或有噪声的视觉信息，而不是仅仅依赖于完美的数据。
• 支持长期学习：它通过从一系列行动而不是单步决策中学习，帮助模型随着时间的推移不断改进。

另一方面，以下是一些需要考虑的强化学习的局限性：

• 信用分配问题： 智能体可能很难弄清楚哪些特定的行动对最终结果有贡献，尤其是在长决策序列中。
• 不安全探索的风险： 在训练过程中，智能体可能会尝试在医疗保健或自动驾驶等现实应用中不可接受的不安全或不受欢迎的行动。
• 收敛缓慢：模型可能需要很长时间才能真正达到良好的性能，尤其是对于复杂的任务。

关键要点#

计算机视觉项目中的强化学习使 AI 系统能够理解周围环境，并通过经验学习如何行动。借助像 Ultralytics YOLO11 这样提供实时目标检测的模型，系统可以根据所见内容做出明智的决策。

这种方法超越了传统方法，允许 AI 通过试错和反馈进行改进，而不是仅仅依赖于标记数据。它支持持续学习，并有助于构建更灵活、自适应和智能的 Vision AI 系统，使其随着时间的推移变得越来越好。

加入我们不断壮大的社区。访问我们的GitHub仓库以深入了解AI。想要开始你自己的计算机视觉项目？探索我们的许可选项。在我们的解决方案页面上了解有关制造领域的AI和汽车行业的视觉AI的更多信息。