Ultralytics YOLO27: 加入候补名单。
获取 YOLO 许可
视觉 AI

探索 AR 技术进展与 Meta Orion 眼镜

了解增强现实及其应用,以及 Meta 全新的 Orion AR 眼镜和沉浸式体验潜力。

Nuvola LadiNuvola Ladi6 分钟阅读
增强现实技术与 Meta Orion AR 眼镜

尽管我们生活在一个丰富的三维(3D)世界中,周围充满数据和信息,但我们日常使用的大多数设备仍依赖二维(2D)屏幕。不过,随着技术进步,这种情况正随着增强现实(AR)等创新技术的出现而逐渐改变。AR 将图像、声音和数据等数字内容融入现实环境,让环境变得更具互动性和吸引力。

人工智能(AI),尤其是计算机视觉,是增强现实背后的重要驱动力。视觉 AI 让 AR 设备能够通过检测物体、跟踪运动和识别空间特征来分析和理解周围环境。本文将探讨增强现实的工作原理,以及它在教育、医疗和娱乐等领域的应用。我们还将讨论 Meta 新款 Orion 增强现实眼镜等近期进展,这些进展正让 AR 更易于普及。

学生在教室中使用 AR

图 1. 学生在教室中使用 AR(来源:elearningindustry.com)。

增强现实的发展历程#

增强现实(AR)通过智能手机、平板电脑或 AR 眼镜等设备,将图像、视频或 3D 模型等数字元素叠加到现实世界中。例如,如果你把手机摄像头对准一张空桌子,AR 就能让桌面上看起来像是放着一个虚拟咖啡杯。AR 将计算机生成的元素与现实中看到的事物融合,能够增强我们对周围环境的感知。

1968 年,伊万·萨瑟兰(Ivan Sutherland)被誉为“计算机图形学之父”,他在哈佛大学制作了第一款 AR 头戴式显示器。最初,AR 应用于航空、军事和工业培训等领域。2008 年,AR 首次实现商业应用,当时宝马 Mini 推出了一则互动广告。用户将印刷版杂志广告放在电脑摄像头前,就能在屏幕上看到汽车的数字模型并控制其移动,仿佛真的在与汽车互动。这为 AR 进入营销、旅游、时尚和娱乐等行业打开了大门。2016 年,随着 Pokémon Go 等热门游戏应用的出现,AR 的普及程度进一步提高。预计到 2034 年,全球增强现实市场规模将达到约 2.80482 万亿美元。

展示全球 AR 市场规模增长情况的图表

图 2。展示全球 AR 市场规模增长情况的图表。

计算机视觉在 AR 中的作用#

计算机视觉、传感器和机器学习等多种技术协同工作,共同打造沉浸式增强现实体验。其中,计算机视觉构成了 AR 将数字内容融入现实环境的基础。下面来看看计算机视觉助力 AR 的几种方式:

  • 物体识别:借助物体检测、计算机视觉技术、图像分割和物体跟踪等技术,AR 系统可以通过分析物体的大小、形状和颜色来识别物体。识别后,系统便可叠加 3D 模型或文本等虚拟内容。
  • 定位与建图:计算机视觉可用于同步定位与建图(SLAM),实时跟踪设备的位置和朝向,确保虚拟元素与用户视野精准对齐,从而带来稳定的体验。
  • 手势与动作识别:视觉 AI 可用于跟踪用户的手势、面部表情和动作,让用户能够自然地与 AR 虚拟内容互动。
  • 深度估计:图像分析可以帮助 AR 设备通过分析所看到的内容来判断环境中物体的距离。这有助于将虚拟元素放置在合适的距离,使其自然融入现实世界,并提升整体 AR 体验。
  • 环境适配:计算机视觉可用于调整虚拟物体,使其能够响应 AR 中的光照、反射和阴影等现实环境条件。

例如,假设你正在使用 AR 应用,在客厅里查看一座数字雕塑。当你移动手机或 AR 头显时,计算机视觉系统会通过物体检测识别房间里的沙发、茶几等物体。

与此同时,SLAM 技术会绘制房间布局并跟踪设备的位置,确保雕塑固定在原处。当你走近时,深度估计会帮助应用调整雕塑的大小,使其看起来处于真实的位置。如果你挥手,手势识别功能可以让你旋转或调整雕塑的大小。应用还可能调整雕塑的灯光和阴影,以匹配房间的光照条件,让雕塑自然融入客厅。

Orion:Meta 的增强现实眼镜#

AR 正在快速发展。2024 年 9 月 25 日,Meta 在 Meta Connect 2024 活动上发布了Orion AR 眼镜。据 Meta 首席执行官马克·扎克伯格(Mark Zuckerberg)介绍,Orion 是迄今为止最先进的 AR 眼镜,集成了许多先进功能。它外观与普通眼镜相似,却具备沉浸式 AR 功能,视野范围也超过此前所有 AR 眼镜。

这款眼镜重量轻,镜框采用镁制成,类似 F1 赛车使用的材料;其先进的冷却系统则以 NASA 卫星为灵感,佩戴起来舒适。眼镜采用新一代定制碳化硅显示屏,配备微型投影仪,可在你眼前呈现不同深度和尺寸的全息影像。

Orion AR 眼镜支持语音控制、手部追踪、眼动追踪以及腕带交互界面。腕带可以感知肌肉发出的电信号,通过细微动作控制 AR 元素。腕带充当神经接口,让你通过简单手势与眼镜互动,是整体体验的重要组成部分。眼镜还配有一个小巧的口袋式处理单元,让你随时随地都能获得所需的计算能力。

Meta Orion AR 眼镜、神经腕带和处理单元

图 3。 Meta Orion AR 眼镜、神经腕带和处理器模块。

Orion 的一大亮点是集成了Meta AI智能助手,能够识别现实世界中的物体并提供实用信息。例如,如果你看着一组食材,Meta AI 可以推荐菜谱。你还可以把任何一面墙变成视频屏幕、参加全息视频通话或玩互动游戏,让 Orion 成为 AR 体验领域令人振奋的一大进步。

可穿戴 AR 技术的应用#

Orion AR 眼镜或头显等可穿戴 AR 技术,无需像使用手机或平板电脑那样手持设备,就能让你体验增强现实。下面来看看可穿戴 AR 正在发挥作用的不同应用场景。

AR 让教育更加触手可及#

许多学生是动手型或视觉型学习者,而增强现实可以帮助教师打造更具互动性的课程。借助头显或智能眼镜等可穿戴 AR 技术,教师和学生可以通过更灵活生动的方式与教育内容互动,随时随地学习。

这些可穿戴设备在偏远地区尤其有用,因为许多 AR 应用在下载所需数据后,可以离线运行或仅需极少的网络连接。发展中国家正在利用可穿戴 AR 为有需要的学生提供优质教育。在卢旺达、尼日利亚和南非等国家,可穿戴 AR 正帮助偏远地区的学生接受教育,仅在卢旺达就惠及了超过 50 万名学生。

非洲偏远地区的一名学生使用 AR 技术学习

图 4. 非洲偏远地区的一名学生使用 AR 技术学习(来源:nepad.org)。

用于游戏的 AR 眼镜#

AR 最热门的应用领域是游戏。游戏行业开始认识到 AR 眼镜能够让游戏体验更加身临其境、互动性更强。玩家可以通过 AR 在现实世界中看到虚拟元素,仿佛真正置身于游戏之中。例如,玩家可以解放双手,探索周围环境并与之互动,让体验更加自然。

AR 游戏最初在移动设备上走红,例如 Pokémon Go,玩家可以用手机摄像头捕捉 Pokémon。如今,游戏转向 AR 眼镜,预计会带来更具沉浸感的体验。Pokémon Go 是一个重要里程碑,它仅用 7 天就吸引了超过 2000 万活跃玩家,展现了AR 的潜力。

玩家在 Pokémon Go 游戏中使用 AR

图 5。玩家在 Pokémon Go 游戏中使用 AR。

AR 如何帮助医生和外科医生#

得益于增强现实,医生和医疗专业人员可以访问并研究 3D 医学影像。事实上,支持 AR 的医学成像工具能够帮助医生在 3D 环境中查看患者的解剖结构。更清晰的可视化有助于提高诊断准确性、改善手术效果并提升手术安全性。

AR 还能帮助医疗保健专业人员识别疾病的位置和范围、规划手术流程,并帮助患者更好地了解自身病情,从而提供更个性化、更有效的护理。例如,借助 AR 头显,外科医生在手术过程中可以查看患者的生命体征,无需在多个设备和显示屏之间来回切换。这样一来,他们就不容易误读或误解数据。

医疗专业人员在手术过程中使用 AR 头显

图 6。医疗专业人员在手术过程中佩戴 AR 头显。

要点#

增强现实有望改变我们与数字世界互动的方式。AR 将虚拟元素与现实世界融合,带来比传统屏幕更具沉浸感的体验。Meta Orion AR 眼镜凭借先进功能、舒适设计和 AI 能力,推动 AR 技术迈出了重要一步。随着 AR 在日常生活中日益普及,物理世界与数字世界之间的界限可能会逐渐模糊,并催生新的创新与创意空间。

想进一步了解 AI?欢迎访问我们的 GitHub 代码库,了解我们在 AI 和计算机视觉领域的贡献,也别忘了加入我们的社区交流。看看我们如何利用 AI 技术重新定义制造业和农业等行业。

作者

Nuvola Ladi
Nuvola Ladi

数字内容经理 · Ultralytics

Nuvola Ladi 是 Ultralytics 的数字内容经理,负责创作涵盖视觉 AI 和 Ultralytics YOLO 的内容,并代表公司参加 PyTorch Conference 2025 等行业活动。她常驻西班牙,拥有 IE University 的视觉与数字媒体硕士学位。加入 Ultralytics 之前,她曾在 XVA Gallery & Hotel 和 Rolex 等机构任职。

评论

提出问题、分享你的结果,或帮助其他人。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来