在计算机视觉项目中利用强化学习

什么是强化学习？

强化学习是机器学习的一个分支，人工智能代理通过采取行动并接受奖惩形式的反馈来进行学习。其目标是找出哪些行动会随着时间的推移产生最佳结果。

你可以把强化学习想象成训练狗。当狗听到命令坐下时，你就给它吃的。一段时间后，狗就会知道，坐着就能得到奖励。在强化学习中，人工智能代理或模型就像狗；环境就是它周围的世界，而奖励则帮助它了解自己是否做出了正确的举动。

这与监督学习不同，监督学习是向人工智能模型展示许多正确答案的示例。例如，模型可能会看到一张狗的图片，然后被告知 "这是一只狗"。 

另一方面，强化学习并不依赖于标记数据。相反，它需要通过尝试不同的操作来学习，并从结果中学习，就像玩游戏，找出哪些动作能帮助你获胜一样。

‍

强化学习对于需要一步步做出决定的任务至关重要，每一个选择都会改变接下来发生的事情。战略电子游戏中就采用了这种学习方式，使游戏更具挑战性，更能吸引玩家。

强化学习如何在人工智能解决方案中发挥作用

想想你是如何学习骑自行车的。一开始，你可能会摔倒。但通过练习，你开始找出帮助你保持平衡的方法。你骑得越多，骑得越好。你是在实践中学习，而不仅仅是别人告诉你怎么做。

对于人工智能来说，强化学习也有类似的作用。它通过经验来学习--尝试不同的行动，观察会发生什么，随着时间的推移逐渐提高做出正确选择的能力。

‍

下面我们来看看强化学习的一些关键组成部分：

• 代理：代理是学习者或决策者。它通过采取行动与环境互动，旨在实现特定目标。
  ‍
• 环境环境包括代理与之交互的一切。它随着代理的行动而变化，并根据结果提供反馈。
  ‍
• 状态：状态代表环境中当前情况的快照。代理通过观察状态来了解周围环境并决定下一步行动。
  ‍
• 行动行动是指代理做出的影响环境的举动或决定。每个行动都会导致新的状态，并影响未来的回报。
  ‍
• 奖励：奖励是环境对行为主体行动是否有益的简单反馈。正向奖励鼓励行为主体重复好的行为，而负向奖励则阻止不良行为。
  ‍
• 策略策略是代理根据当前状态选择行动的战略。随着时间的推移，代理会不断完善自己的策略，以获得最大的总回报。

通过同时使用这些组件，强化学习使人工智能系统能够通过不断的尝试和错误来学习有效的行为。每尝试一次，代理就能更好地选择行动，从而获得更高的回报和更好的结果。

计算机视觉创新中的强化学习

计算机视觉可用于检测图像中的物体、对图片中的内容进行分类以及将图像分割成不同部分等任务。Ultralytics YOLO11等计算机视觉模型支持此类任务，可用于构建有影响力的应用程序，收集视觉洞察。  

然而，当这些视觉人工智能任务与强化学习相结合时，结果就是人工智能解决方案不仅能看到，还能根据视觉洞察学习如何行动，并随着时间的推移变得更好。

计算机视觉应用中强化学习的一个有趣例子是仓库中机器人的使用。配备了摄像头和计算机视觉系统的机器人可以分析周围环境，检测每件物品的位置，识别其形状和大小，并了解其在货架上的摆放位置。

机器人每次尝试拾取物品时，都会收到反馈--如果物品被正确拾取，则拾取成功；如果物品被掉落，则拾取失败。随着时间的推移，机器人会逐渐学会哪些动作对不同的物品最有效。它不再遵循一套固定的指令，而是通过经验不断改进。

‍

强化学习在计算机视觉中的应用

既然我们已经对什么是强化学习及其在计算机视觉中的作用有了更好的了解，那就让我们来仔细看看强化学习和计算机视觉结合使用的一些例子吧。

整合视觉人工智能和强化学习，打造更智能的汽车

自动驾驶汽车既可以依靠视觉人工智能（Vision AI）来了解周围环境，也可以依靠强化学习（reinforcement learning）来根据所见做出决策。AWS DeepRacer 就是一个很好的实例。

AWS DeepRacer是一辆完全自主的 1/18 比例赛车，它通过摄像头和强化学习来学习如何驾驶。它不需要别人告诉它该怎么做，而是自己通过尝试、犯错和学习来解决问题。

这辆小车的摄像头就像一双眼睛，能捕捉前方的轨迹。根据所见所闻，汽车学会了如何转向和速度。每跑一圈，它都会变得更好。例如，它可以通过学习过去的经验，学会在急弯前转弯或减速。

DeepRacer 的训练从虚拟环境开始，模型在虚拟环境中练习和完善自己的驾驶技能。一旦达到一定的性能水平，这些技能就会转移到使用实体汽车的真实赛道上。 

‍

向自主手术机器人迈进

视觉人工智能和强化学习在机器人手术中的整合是一个令人兴奋的研究领域，正日益受到关注。目前，这一应用在很大程度上仍处于理论阶段。研究人员正在虚拟环境中进行模拟。

不过，早期的实验显示出良好的效果，表明手术机器人最终可以以更高的精度、适应性和最小的人工干预来完成复杂、精细的手术。

‍

例如，想象一下需要从手术部位小心抬起一块纱布的情况。配备视觉人工智能的机器人首先会分析场景，使用分割技术识别纱布和周围组织。 

然后，强化学习将帮助手术机器人决定如何完成任务，确定抓取纱布的最佳角度、施加多大的压力，以及如何在不影响附近敏感区域的情况下抬起纱布。随着时间的推移和在模拟环境中的反复练习，机器人就能学会执行这些细微而关键的动作，并不断提高技能和信心。

视觉人工智能中强化学习的利与弊

强化学习让视觉人工智能系统超越了简单的识别，开始根据所见做出决策。这为机器人、自动化和实时交互等领域带来了新的可能性。 

以下是将强化学习整合到视觉人工智能工作流程中的一些主要优势：

• 减少对标记数据的依赖：
  ‍
• 更好地处理不确定性： 强化学习可以处理不完整或嘈杂的视觉信息，根据反馈调整行动，而不是仅仅依赖完美的数据。
  ‍
• 支持长期学习：它通过从一系列行动中学习，而不仅仅是从单一步骤的决策中学习，帮助模型随着时间的推移不断改进。

另一方面，我们也要考虑强化学习的一些局限性：

• 信用分配问题：代理很难弄清哪些具体行动促成了最终结果，尤其是在长序列决策中。
  ‍
• 不安全探索的风险：
  ‍
• 收敛速度慢：模型可能需要很长时间才能真正达到良好性能，尤其是在复杂任务中。

主要收获

计算机视觉项目中的强化学习能让人工智能系统了解周围环境，并通过经验学习如何行动。通过 Ultralytics YOLO11 等模型提供实时物体检测，系统可以根据所见做出明智的决策。

这种方法超越了传统方法，允许人工智能通过试验和反馈来改进，而不是仅仅依赖于标记数据。它支持持续学习，有助于建立更加灵活、自适应和智能的视觉人工智能系统，并随着时间的推移不断改进。

加入我们不断壮大的社区。访问我们的GitHub 存储库，深入了解人工智能。想开始自己的计算机视觉项目？了解我们的许可选项。在我们的解决方案页面了解更多有关制造业人工智能和汽车行业视觉人工智能的信息。