Ultralytics YOLO27:
视觉 AI

探索 AR 技术的发展以及 Meta Orion 眼镜

了解增强现实及其应用,以及 Meta 全新的 Orion AR 眼镜和其带来沉浸式体验的潜力。

NUNuvola Ladi6 min read
增强现实技术与 Meta Orion AR 眼镜

尽管我们生活在一个充满数据和信息的丰富三维(3D)世界中,但我们日常使用的大多数设备仍依赖二维(2D)屏幕。然而,随着技术不断发展,随着增强现实(AR)等创新技术的出现,这种情况正在逐渐改变。AR 可将图像声音和数据等数字内容与现实环境融合,让互动更加丰富、更具吸引力。

人工智能(AI),尤其是计算机视觉,是增强现实背后的重要驱动力。视觉 AI让 AR 设备能够通过检测对象跟踪运动识别空间特征来分析和解读周围环境。在本文中,我们将探讨增强现实的工作原理,以及它在教育医疗保健娱乐等领域的应用。我们还将讨论最近的突破,例如 Meta 新推出的 Orion 增强现实眼镜,它让 AR 变得更加普及。让我们开始吧!

一名在课堂上使用 AR 的学生

图 1. 一名在课堂上使用 AR 的学生(来源:elearningindustry.com)。

增强现实的演进#

增强现实通过智能手机、平板电脑或 AR 眼镜等设备,将图像、视频或 3D 模型等数字元素添加到现实世界中。例如,如果你将手机的摄像头对准一张空桌子,AR 可以让你看起来像是看到桌子上放着一个虚拟咖啡杯。AR 将计算机生成的元素与现实中看到的内容融合,从而增强我们观察周围环境的方式。

1968 年,被誉为“计算机图形学之父”的 Ivan Sutherland 在哈佛大学创建了首款 AR 头戴式显示器。最初,AR 被用于航空、军事和工业培训等领域。2008 年,AR 首次实现商业应用,出现在 BMW Mini 的一则互动广告中。用户将印刷杂志广告放在电脑摄像头前,就能在屏幕上看到汽车的数字模型并控制其运动,仿佛是在现实中与汽车互动。这为 AR 进入营销旅游时尚娱乐等行业打开了大门。2016 年,随着 Pokémon Go 等热门游戏应用的出现,AR 的普及率进一步提高。预计到 2034 年,全球增强现实市场规模将达到约 2.80482 万亿美元。

显示全球 AR 市场规模增长的图表

图 2。显示全球 AR 市场规模增长的图表。

计算机视觉在 AR 中的作用#

包括计算机视觉、传感器和机器学习在内的各种技术协同工作,共同打造沉浸式增强现实体验。其中,计算机视觉是通过 AR 将数字内容轻松融入现实环境的基础。下面详细介绍计算机视觉为 AR 提供支持的不同方式:

  • 对象识别:AR 系统利用计算机视觉技术,例如对象检测图像分割对象跟踪,通过分析对象的大小、形状和颜色来识别对象。识别完成后,系统便可叠加 3D 模型或文本等虚拟内容。
  • 定位与建图:计算机视觉可用于同时定位与建图(SLAM),实时跟踪设备的位置和方向,确保虚拟元素始终与用户视野准确对齐,从而提供稳定的体验。
  • 手势与运动识别:视觉 AI 可用于跟踪用户的手势、面部表情和动作,让用户能够在 AR 中自然地与虚拟内容互动。
  • 深度估计:图像分析通过分析 AR 设备看到的内容,帮助设备了解环境中对象的距离。这有助于将虚拟元素放置在正确的距离处,使其自然地融入现实世界,并改善整体 AR 体验。
  • 环境适应:计算机视觉可用于调整虚拟对象,使其在 AR 中响应光照、反射和阴影等现实条件。

例如,假设你正在使用 AR 应用查看客厅中的数字雕塑。当你移动手机或 AR 头戴设备时,计算机视觉系统会利用对象检测开始识别房间周围的对象,例如沙发或咖啡桌。

与此同时,SLAM 技术会绘制房间布局并跟踪设备的位置,确保雕塑固定在同一个位置。当你走近雕塑时,深度估计会帮助应用调整雕塑的大小,使其看起来处于真实的位置。如果你挥手,手势识别便可以让你旋转或调整雕塑的大小。应用还可能调整雕塑的光照和阴影,使其匹配房间的光照条件,从而让雕塑无缝融入你的客厅。

Orion:Meta 的增强现实眼镜#

AR 正在快速发展。Meta 最近于 2024 年 9 月 25 日在 Meta Connect 2024 活动上公布了其Orion AR 眼镜。据 Meta 首席执行官 Mark Zuckerberg 介绍,Orion 是迄今为止最先进的 AR 眼镜,融合了许多尖端功能。它外观与普通眼镜相似,却具备沉浸式 AR 功能,提供目前 AR 眼镜中最大的视野。

这款眼镜重量轻盈,镜架采用镁制成,类似于F1 赛车所使用的材料;其先进的冷却系统则受NASA 卫星启发,为佩戴舒适性提供保障。眼镜采用由定制碳化硅制成的新一代显示屏,配备微型投影仪,能够直接在你面前生成具有不同深度和大小的全息图。

Orion AR 眼镜支持语音控制、手部跟踪、眼动跟踪以及腕带交互界面。腕带能够捕捉肌肉产生的电脉冲,通过细微动作控制 AR 元素。腕带充当神经接口,让你可以通过简单手势与眼镜互动,是整体体验的重要组成部分。眼镜还配有一个小巧的口袋大小处理终端,可在移动中提供所需的计算能力。

Meta 的 Orion AR 眼镜、神经腕带和处理终端

图 3。 Meta 的 Orion AR 眼镜、神经腕带和处理终端。

Orion 的突出之处在于它集成了Meta AI,这是一款能够识别现实世界对象并提供有用洞察的智能助手。例如,当你查看一组食材时,Meta AI 可以推荐食谱。你还可以将任意墙壁变成观看视频的屏幕、参加全息视频通话或玩互动游戏,使 Orion 成为 AR 体验发展中的重要一步。

可穿戴 AR 技术的应用#

可穿戴 AR 技术(例如 Orion AR 眼镜或头戴设备)让你无需手持设备即可体验增强现实,不同于使用手机或平板电脑。下面我们来了解可穿戴 AR 正在发挥作用的不同应用场景。

AR 让教育更加普及#

许多学生偏好动手学习或视觉学习,而增强现实可以帮助教师打造更具互动性的课程。借助头戴设备或智能眼镜等可穿戴 AR 技术,教师和学生可以更加动态地参与教育内容,随时随地进行学习。

这些可穿戴设备在偏远地区尤其有用,因为许多 AR 应用在下载必要数据后即可离线运行,或仅需极少的网络连接。发展中国家正在利用可穿戴 AR 为有需要的学生提供优质教育。在卢旺达、尼日利亚和南非等国家,可穿戴 AR 正在帮助偏远地区的学生接受教育,仅在卢旺达就覆盖了超过 50 万名学生。

一名在非洲偏远地区使用 AR 技术学习的学生

图 4. 一名在非洲偏远地区使用 AR 技术学习的学生(来源:nepad.org)。

用于游戏的 AR 眼镜#

AR 最受欢迎的应用领域是游戏。游戏行业开始意识到,AR 眼镜可以让游戏更加沉浸和互动。玩家可以通过 AR 在现实世界中看到虚拟元素,仿佛真正置身于游戏之中。例如,玩家可以解放双手探索周围环境并与其互动,让体验更加自然。

AR 游戏最初在移动设备上流行起来,例如 Pokémon Go,玩家可以使用手机摄像头捕捉 Pokémon;而转向 AR 眼镜预计将让游戏更具吸引力。Pokémon Go 仅用 7 天就吸引了超过 2,000 万活跃玩家,展示了AR 的潜力,因此成为一个重要里程碑。

玩家在 Pokémon Go 游戏中使用 AR

图 5。在 Pokémon Go 游戏中使用 AR 的玩家。

AR 如何帮助医生和外科医生#

得益于增强现实,医生和医疗专业人员可以访问并研究三维医学图像。事实上,支持 AR 的医学成像工具可以帮助医生在三维环境中观察患者的解剖结构。更清晰的可视化有助于实现更准确的诊断、改善手术结果并提高操作安全性。

AR 还可以通过识别疾病的位置和范围、规划手术流程以及帮助患者更好地了解自身病情,协助医疗保健专业人员提供更加个性化且有效的护理。例如,在医疗操作过程中,外科医生可以使用 AR 头戴设备查看患者的生命体征,无需同时操作多个设备和显示屏。这样可以降低误读或误解数据的可能性。

一名医疗专业人员在手术期间使用 AR 头戴设备

图 5。一名医疗专业人员在手术期间使用 AR 头戴设备。

要点总结#

增强现实有望改变我们与数字世界互动的方式。AR 将虚拟元素与现实世界相结合,打造出比传统屏幕更加沉浸式的体验。Meta 的 Orion AR 眼镜凭借先进功能、舒适设计和 AI 能力,代表着 AR 技术向前迈出了一大步。随着 AR 在日常生活中日益普及,我们可以预见物理世界与数字世界之间的界限将逐渐模糊,从而为创新和创意带来新的可能性。

想进一步了解 AI?欢迎查看我们的GitHub 代码库,了解我们在 AI 和计算机视觉领域的贡献,也别忘了参与我们的社区。了解我们如何利用尖端 AI 技术重新定义制造业农业等行业。

Explore solutions

用于航拍影像的计算机视觉

用于航拍影像的计算机视觉

使用 Ultralytics YOLO 将无人机和航拍影像转化为针对农业、水产养殖、环境监测、自然保护及地理空间分析的实时洞察。
了解更多
航空航天中的计算机视觉

航空航天中的计算机视觉

借助 Ultralytics YOLO 模型将视觉 AI 引入空中监测。使用计算机视觉解决方案赋能无人机、航空航天工作流、环境保护与地理空间行业。
了解更多

使用 Ultralytics YOLO 模型保护每个站点。视觉 AI 赋能周界监控、威胁检测、车牌识别和工作场所安全。
了解更多
机器人计算机视觉

机器人计算机视觉

借助 Ultralytics YOLO 模型打造更智能的机器。机器人技术中的视觉 AI 可实现自主导航、感知、目标跟踪和实时控制。
了解更多
物流计算机视觉

物流计算机视觉

使用 Ultralytics YOLO 模型提升物流效率。视觉 AI 可实现包裹检测、分拣、车辆跟踪和仓库安全实时监控。
了解更多
零售计算机视觉

零售计算机视觉

使用 Ultralytics YOLO 模型重新构想零售。视觉 AI 为库存跟踪、货架监控、队列管理和更智能的客户洞察提供支持。
了解更多
医疗领域的计算机视觉

医疗领域的计算机视觉

使用 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可实现更快的医学影像处理、更智能的诊断和患者监护。
了解更多
制造业中的计算机视觉

制造业中的计算机视觉

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 可推动质量控制、缺陷检测、PPE 合规和装配线自动化。
了解更多
汽车行业中的计算机视觉

汽车行业中的计算机视觉

使用 Ultralytics YOLO 模型在汽车行业应用计算机视觉。视觉 AI 提升道路安全、驾驶辅助和车辆自动化水平,让道路更加智能。
了解更多
农业中的计算机视觉

农业中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 带入智能农业。为作物监测、牲畜追踪和精准农业提供支持,提升产量与智能化水平。
了解更多
用于航拍影像的计算机视觉

用于航拍影像的计算机视觉

使用 Ultralytics YOLO 将无人机和航拍影像转化为针对农业、水产养殖、环境监测、自然保护及地理空间分析的实时洞察。
了解更多
航空航天中的计算机视觉

航空航天中的计算机视觉

借助 Ultralytics YOLO 模型将视觉 AI 引入空中监测。使用计算机视觉解决方案赋能无人机、航空航天工作流、环境保护与地理空间行业。
了解更多

使用 Ultralytics YOLO 模型保护每个站点。视觉 AI 赋能周界监控、威胁检测、车牌识别和工作场所安全。
了解更多
机器人计算机视觉

机器人计算机视觉

借助 Ultralytics YOLO 模型打造更智能的机器。机器人技术中的视觉 AI 可实现自主导航、感知、目标跟踪和实时控制。
了解更多
物流计算机视觉

物流计算机视觉

使用 Ultralytics YOLO 模型提升物流效率。视觉 AI 可实现包裹检测、分拣、车辆跟踪和仓库安全实时监控。
了解更多
零售计算机视觉

零售计算机视觉

使用 Ultralytics YOLO 模型重新构想零售。视觉 AI 为库存跟踪、货架监控、队列管理和更智能的客户洞察提供支持。
了解更多
医疗领域的计算机视觉

医疗领域的计算机视觉

使用 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可实现更快的医学影像处理、更智能的诊断和患者监护。
了解更多
制造业中的计算机视觉

制造业中的计算机视觉

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 可推动质量控制、缺陷检测、PPE 合规和装配线自动化。
了解更多
汽车行业中的计算机视觉

汽车行业中的计算机视觉

使用 Ultralytics YOLO 模型在汽车行业应用计算机视觉。视觉 AI 提升道路安全、驾驶辅助和车辆自动化水平,让道路更加智能。
了解更多
农业中的计算机视觉

农业中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 带入智能农业。为作物监测、牲畜追踪和精准农业提供支持,提升产量与智能化水平。
了解更多
用于航拍影像的计算机视觉

用于航拍影像的计算机视觉

使用 Ultralytics YOLO 将无人机和航拍影像转化为针对农业、水产养殖、环境监测、自然保护及地理空间分析的实时洞察。
了解更多
航空航天中的计算机视觉

航空航天中的计算机视觉

借助 Ultralytics YOLO 模型将视觉 AI 引入空中监测。使用计算机视觉解决方案赋能无人机、航空航天工作流、环境保护与地理空间行业。
了解更多

使用 Ultralytics YOLO 模型保护每个站点。视觉 AI 赋能周界监控、威胁检测、车牌识别和工作场所安全。
了解更多
机器人计算机视觉

机器人计算机视觉

借助 Ultralytics YOLO 模型打造更智能的机器。机器人技术中的视觉 AI 可实现自主导航、感知、目标跟踪和实时控制。
了解更多
物流计算机视觉

物流计算机视觉

使用 Ultralytics YOLO 模型提升物流效率。视觉 AI 可实现包裹检测、分拣、车辆跟踪和仓库安全实时监控。
了解更多
零售计算机视觉

零售计算机视觉

使用 Ultralytics YOLO 模型重新构想零售。视觉 AI 为库存跟踪、货架监控、队列管理和更智能的客户洞察提供支持。
了解更多
医疗领域的计算机视觉

医疗领域的计算机视觉

使用 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可实现更快的医学影像处理、更智能的诊断和患者监护。
了解更多
制造业中的计算机视觉

制造业中的计算机视觉

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 可推动质量控制、缺陷检测、PPE 合规和装配线自动化。
了解更多
汽车行业中的计算机视觉

汽车行业中的计算机视觉

使用 Ultralytics YOLO 模型在汽车行业应用计算机视觉。视觉 AI 提升道路安全、驾驶辅助和车辆自动化水平,让道路更加智能。
了解更多
农业中的计算机视觉

农业中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 带入智能农业。为作物监测、牲畜追踪和精准农业提供支持,提升产量与智能化水平。
了解更多

让我们共同构建 AI 的未来!

开启你的机器学习未来之旅