Ultralytics YOLO27: 加入候补名单。
获取 YOLO 许可
视觉 AI

深入了解 iOS 18:一览 Apple 的无障碍功能

Apple 的 iOS 18 新增了 AI 辅助的无障碍功能,例如眼动跟踪、音乐触感和语音快捷指令,帮助残障人士。

Abirami VinaAbirami Vina6 分钟阅读
Apple iOS 18 中全新的 AI 辅助无障碍功能

2024 年 5 月 15 日,Apple 宣布将推出一系列 iOS 18 更新,重点关注辅助功能。新款 Apple 更新计划于今年晚些时候发布,其中包括眼动追踪、音乐触感和语音快捷指令等创新功能。

这些 Apple 辅助功能让行动不便、失聪或视力受损,以及有言语障碍的人更容易使用 Apple 设备。Apple 芯片、人工智能 (AI) 和机器学习是这些功能背后的技术进步。让我们来了解 Apple 的新功能及其对日常生活的影响。

包容性的重要性#

作为一个社会,我们需要确保每个人都能平等受益于技术进步。让技术更易于使用,能够改变许多人的生活。例如,如今技术已成为几乎所有工作的重要组成部分,但难以使用的界面可能会给残障人士的职业发展带来障碍。研究显示,2018 年残障人士的失业率几乎是非残障人士的两倍。

法律体系也在推动有关技术无障碍的讨论。许多国家已出台法律,要求网站和数字产品符合无障碍标准。在美国,涉及网站无障碍的诉讼数量持续增加;2017 年至 2022 年期间,相关诉讼约有 14,000 起,仅 2022 年就超过 3,000 起。无论是否有法律要求,无障碍都对建设人人都能充分参与的包容性社会至关重要。接下来介绍的 Apple 辅助功能正是为此而生。

Apple 以往的辅助功能#

自 2009 年以来,Apple 一直致力于让所有人都能使用技术。那一年,Apple 推出了 VoiceOver,这项功能让盲人和视障用户能够通过手势和语音反馈操作 iPhone。它会朗读屏幕上的内容,让用户更轻松地与设备互动。

自定义 Apple 的 VoiceOver 功能

图 1。你可以根据需要自定义 Apple 的 VoiceOver 功能。

此后,Apple 持续改进并扩展辅助功能。Apple 推出了用于放大屏幕的缩放功能、用于改善视觉对比度的反转颜色功能,以及为听力障碍人士提供的单声道音频功能。这些功能显著改善了不同残障用户与设备交互的方式。

以下是一些我们以往见到的 Apple 主要辅助功能:

  • 反转颜色:通过反转颜色提高视觉对比度,让有某些视力障碍的用户更容易看清文字和图像。
  • 单声道音频:将立体声音效合并为一个声道,帮助单耳听力受损的用户更清晰地听到音频。
  • 辅助触控:通过可自定义的屏幕菜单,帮助有肢体障碍的用户完成复杂的触控手势。
  • 切换控制:让运动能力受限的用户使用外接开关控制设备,例如头戴式开关或吹吸式开关。

Apple 眼动追踪技术如何提升易用性#

手部活动能力受限的人现在只需看着屏幕,就能轻松浏览互联网、发送消息,甚至控制智能家居设备。这些进步让他们的日常生活更轻松,使他们能够独立完成以前觉得困难的任务。

Apple 即将推出的另一项令人期待的无障碍功能是眼动追踪,它将让这一切成为现实。眼动追踪专为有肢体障碍的用户设计,可让用户在 iPad 和 iPhone 上免手动操作。它利用 AI 和前置摄像头识别你的注视位置,让你轻松触发按钮、滑动等手势。

使用眼动追踪操作 iPad,无需触碰屏幕

图 2. 使用眼动追踪操作 iPad,无需实际触碰屏幕。

前置摄像头可在几秒内设置并校准眼动追踪。你可以使用停留控制与 App 元素互动,只需用眼睛就能操作按钮、滑动等功能。用户可以放心,设备会通过端侧机器学习安全地处理所有数据,从而保护隐私。眼动追踪适用于 iPadOS 和 iOS App,无需额外硬件或配件。Apple Vision Pro 的 visionOS 也包含眼动追踪功能,方便用户导航。

用 Apple Music 触感反馈感受节拍#

音乐触感反馈是 Apple 即将推出的另一项辅助功能,专为失聪或听力障碍用户设计,让他们可以通过 iPhone 体验音乐。启用后,Taptic Engine 会生成与音频同步的轻点、纹理感和细腻振动。你可以感受音乐的节奏和细微变化。Taptic Engine 能以不同强度、模式和时长产生振动,捕捉音乐的感觉,因此这项功能相当细致。

音乐触感反馈让音乐更易于体验

图 3. 音乐触感反馈让音乐更易于体验。

音乐触感反馈能以此前无法实现的方式,让听力障碍人士与音乐建立联系,为日常生活开启丰富多彩的体验。跑步时听音乐,或与朋友一起欣赏歌曲,都能成为共享且身临其境的体验。振动可以配合健身播放列表的节奏,让锻炼更有动力;也可以伴随喜爱的冥想音乐,帮助舒缓紧张情绪。音乐触感反馈支持 Apple Music 曲库中的数百万首歌曲,并将以 API 的形式向开发者开放,让开发者能够打造更易于使用的 App。

通过 Apple 语音快捷指令轻松操控#

在新增的无障碍功能中,Apple 设计了语音快捷指令,利用 AI 改进语音识别。iPhone 和 iPad 用户可以创建“自定义语句”,让 Siri 启动快捷指令并处理复杂任务。这对脑瘫、ALS 或中风患者尤其有帮助。

语音快捷指令利用 AI 实现高级语音识别

图 4. 语音快捷指令利用 AI 实现高级识别。

“聆听非典型语音”功能使用端侧机器学习识别并适应不同的语音模式,让发送消息或设置提醒等任务变得更简单。语音快捷指令支持自定义词汇和复杂词语,带来个性化且高效的用户体验。

借助 Apple 让乘车出行更易于使用#

Apple 还推出了几项新的辅助功能,让乘客在旅途中能更舒适地使用设备。例如,车辆动态提示是 iPhone 和 iPad 的一项新功能,可帮助乘坐行驶中车辆的乘客减轻晕动症。

晕动症往往是因为视觉信息与身体感受之间出现感官不匹配,导致人在移动时使用设备感到不适。车辆动态提示会在屏幕边缘显示动态圆点,呈现车辆运动状态的变化,以此缓解这种不适。它可以减少感官冲突,同时不影响主要内容。这项功能利用 iPhone 和 iPad 的内置传感器检测用户是否身处行驶中的车辆,并相应地进行调整。

车辆动态提示让乘车时使用设备更轻松

图 5. 车辆动态提示让每个人在乘车时使用设备都更轻松。

CarPlay 也进行了更新,以增强辅助功能。语音控制让用户可以通过语音指令操作 CarPlay 及其 App;声音识别则会在检测到汽车喇叭声和警笛声时向失聪或听力障碍用户发出提醒。对于色盲用户,颜色滤镜可提升 CarPlay 界面的视觉易用性。这些改进让所有乘客在乘车时都更加舒适。

VisionOS 实时字幕#

Apple Vision Pro 已经提供字幕、隐藏式字幕和转录等 Apple 辅助功能,帮助用户理解音频和视频内容。现在,Apple 正在进一步拓展这些功能。全新的 AI 驱动实时字幕功能会将实时对话中的语音和 App 音频转换为文字,并即时显示在屏幕上,让所有人都能理解对话内容。这项功能对失聪或听力障碍人士尤其有帮助。

例如,在 visionOS 中进行 FaceTime 通话时,用户可以看到屏幕上实时转写的对话内容,从而更轻松地通过自己的 Persona(计算机生成的虚拟化身)进行交流和协作。

AI 正让世界变得更易于使用#

与 Apple 推动无障碍访问的举措类似,许多其他公司也在积极研究和创新,利用 AI 打造易于使用的解决方案。例如,AI 驱动的自动驾驶汽车可以让行动不便的人更容易自己开车,从而获得独立性。过去,残障人士可以借助经过特殊改装的车辆驾驶,这些车辆配备了手控装置、转向辅助设备和轮椅无障碍功能等改造。随着计算机视觉等 AI 技术的集成,这些车辆如今能提供更多支持。

计算机视觉是自动驾驶汽车的关键组成部分

图 6. 视觉 AI 助力自动驾驶汽车感知周围环境。

Tesla 的 Autopilot 是 AI 增强型驾驶辅助的一个典型例子。它利用先进的传感器和摄像头检测障碍物、识别交通信号,并提供实时导航辅助。借助这些 AI 输入,车辆可以执行多种驾驶任务,例如保持在车道内行驶,并根据交通状况调整速度。计算机视觉提供的洞察让每个人的驾驶体验都更安全、更易于使用。

AI 驱动包容性的新纪元#

随着 Apple 推出这些新更新,由 AI 驱动的包容新时代正在逐步形成。通过将 AI 融入无障碍功能,Apple 正在让残障人士的日常任务更轻松,并推动技术领域的包容性与创新。这些进步将影响多个市场:科技公司将树立新的包容性标杆;医疗保健领域将受益于残障人士独立性的提升;消费电子产品对无障碍设备的需求也将增加。未来的技术很可能会致力于为所有人打造无障碍的用户体验。

查看我们的 GitHub 代码仓库,加入社区,及时了解 AI 的最新进展。了解 AI 如何重塑自动驾驶技术、制造业、医疗保健等领域。

作者

Abirami Vina
Abirami Vina

内容创作者 · Ultralytics

Abirami Vina 职业生涯始于计算机视觉工程师,由此在视觉 AI 和机器学习领域打下了坚实基础。她是 Ultralytics 的内容创作者,也是 Scribe of AI 的创始人兼首席撰稿人,为专注 AI 的公司撰写高质量技术内容。她热衷于让 AI 更易理解、更具吸引力,通过自己的作品连接前沿技术与现实影响。

评论

提出问题、分享你的结果,或帮助其他人。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来