深入了解 iOS 18：Apple 辅助功能概览

2024年5月15日，Apple announced了一系列即将推出的 iOS 18 更新，其中重点关注了无障碍功能。这些新的 Apple 更新计划于今年晚些时候发布，包含眼动追踪（Eye Tracking）、音乐触觉（Music Haptics）和人声快捷指令（Vocal Shortcuts）等创新功能。

这些 Apple 辅助功能使行动不便者、聋人或听障人士以及有言语障碍的人群能够更轻松地使用 Apple 设备。Apple 芯片、人工智能 (AI) 和机器学习是实现这些功能的背后技术推动力。让我们一起来探索 Apple 的新功能以及它们将对日常生活产生的影响。

包容性的重要性#

作为一个社会，我们需要确保我们的技术进步对所有人具有包容性。让技术变得易用可以改变许多人的生活。例如，如今科技是任何工作中不可或缺的一部分，但不可访问的界面可能会给残障人士带来职业障碍。研究表明，2018 年残障人士的失业率几乎是健全人的两倍。

法律系统也在积极应对让技术变得无障碍这一议题。许多国家已通过立法，强制要求网站和数字产品达到无障碍标准。在美國，与网站无障碍相关的诉讼一直在稳步增加，2017 年至 2022 年间提起的网络无障碍诉讼大约有 14,000 起，仅 2002 年就有 3,000 多起。無論法律要求如何，无障碍对于每个人都能充分参与的包容性社会都至关重要。这就是以下 Apple 无障碍功能发挥作用的地方。

过去的 Apple 辅助功能#

自 2009 年以来，Apple 一直致力于使技术惠及每个人。那一年，他们推出了 VoiceOver，这是一项允许盲人和视障用户通过手势和音频反馈来导航 iPhone 的功能。读出屏幕上的内容，让用户可以更轻松地与设备交互。

Fig 1. 你可以根据需要自定义 Apple 的 VoiceOver 功能来为你提供支持。

从那时起，Apple 不断改进和扩展其辅助功能。他们推出了用于屏幕放大的“缩放”（Zoom），用于改善视觉对比度的“反转颜色”（Invert Colors），以及为听障人士提供的“单声道音频”（Mono Audio）。这些功能显著改善了各种残障用户与设备交互的方式。

以下是我们过去看到的一些关键 Apple 辅助功能的详细介绍：

• 反转颜色：通过反转颜色来提高视觉对比度，使某些视障用户能更轻松地查看文本和图像。
• 单声道音频：将立体声合并为一个声道，帮助单侧听力损失的用户更清晰地听到音频。
• 辅助触控：通过可自定义的屏幕菜单，协助身体残障用户执行复杂的触摸手势。
• 切换控制：允许运动障碍用户使用外部开关（如头戴式或吹吸式开关）来控制他们的设备。

Apple 眼动追踪技术如何提高可用性#

手部活动能力有限的人现在可以轻松浏览互联网、发送消息，甚至通过盯着屏幕看就能控制智能家居设备。这些进步让他们的日常生活变得更易于管理，使他们能够独立完成以前觉得困难的任务。

另一个令人兴奋的即将推出的 Apple 辅助功能是眼动追踪（Eye Tracking），它让这一切成为现实。眼动追踪专为身体残障用户设计，在 iPad 和 iPhone 上提供了免提导航选项。通过使用 AI 和前置摄像头来观察你的注视点，它让你能够轻松地激活按钮、滑动及执行其他手势。

Fig 2. 使用眼动追踪在不实际触摸 iPad 的情况下对其进行操作。

前置摄像头可以在几秒钟内设置并校准眼动追踪。你可以使用“停留控制”（Dwell Control）与应用程序元素进行交互，只需用眼睛即可访问按钮和滑动等功能。用户可以确信他们的隐私受到保护，因为设备使用端侧机器学习安全地处理所有数据。眼动追踪可在 iPadOS 和 iOS 应用程序中无缝运行，无需额外的硬件或配件。Apple Vision Pro 的 VisionOS 也包含了一个用于轻松导航的眼动追踪功能。

通过 Apple 音乐触觉感受节拍#

音乐触觉（Music Haptics）是另一个即将发布的 Apple 辅助功能。它旨在为聋人或听障用户在 iPhone 上体验音乐。使用时，Taptic Engine 会产生与音频同步的轻拍、纹理和精致的震动。你可以感受到音乐的节奏和细微差别。由于 Taptic Engine 能够产生不同强度、模式和持续时间的震动来捕捉音乐的质感，因此这项功能非常深入。

Fig 3. 音乐触觉让音乐更具无障碍性。

音乐触觉能以以前无法实现的方式将听障人士与音乐联系起来。这为他们的日常生活开启了新的体验世界。一边听音乐一边跑步，或者与朋友一起欣赏一首歌，变成了一种共享且沉浸式的体验。震动可以匹配锻炼播放列表的能量，让运动更具动力，或者通过最喜欢的冥想曲调来平复情绪。音乐触觉支持 Apple Music 目录中的数百万首歌曲，并将作为 API 提供给开发者，使他们能够构建更具辅助功能的应用程序。

通过 Apple 人声快捷方式轻松控制#

Apple 设计了人声快捷方式（Vocal Shortcuts），旨在通过 AI 改善辅助功能列表中的语音系统。它让 iPhone 和 iPad 用户能够创建“自定义话语”，从而让 Siri 启动快捷方式并处理复杂的任务。这对于患有脑瘫、ALS 或中风等疾病的人群特别有帮助。

Fig 4. 人声快捷指令使用 AI 进行高级识别。

“聆听非典型语音”（Listen for Atypical Speech）功能利用端侧机器学习来识别并适应不同的语音模式，使发送消息或设置提醒等任务变得更简单。通过支持自定义词汇和复杂词汇，人声快捷方式提供了个性化且高效的用户体验。

让 Apple 助力让乘车变得更易于参与#

还有几项新的 Apple 辅助功能可以帮助乘客在旅行过程中更舒适地使用设备。例如，“车辆运动线索”（Vehicle Motion Cues）是一项针对 iPhone 和 iPad 的新功能，有助于减轻乘客在移动车辆中的晕车感。

晕车往往是由于人们视觉所见与身体感觉之间的感官不匹配造成的，这使得在移动中难以使用设备。车辆运动线索通过在屏幕边缘显示动画点来表示车辆运动的变化，从而解决这个问题。它在不干扰主要内容的情况下减少了感官冲突。该功能利用 iPhone 和 iPad 中的内置传感器来检测用户是否处于移动的车辆中，并做出相应的调整。

Fig 5. 车辆运动提示让所有使用设备的人在漫长的汽车旅行中更加轻松。

CarPlay 也得到了更新以增强辅助功能。“语音控制”（Voice Control）允许用户通过语音命令操作 CarPlay 及其应用程序，而“声音识别”（Sound Recognition）则提醒聋人或听障用户注意汽车喇叭和警报声。对于色盲用户，“颜色滤镜”（Color Filters）改善了 CarPlay 界面的视觉可用性。这些增强功能有助于让所有乘客在车程中感到更舒适。

VisionOS 的实时字幕#

Apple Vision Pro 已经提供了字幕、隐藏式字幕和转录等 Apple 辅助功能，帮助用户跟踪音频和视频。现在，Apple 正在进一步扩展这些功能。全新的 AI 驱动的“实时字幕”（Live Captions）功能，通过在屏幕上实时显示文本，让所有人都能跟上实时对话和应用程序音频。这对聋人或听障人士特别有益。

例如，在 VisionOS 的 FaceTime 通话中，用户可以看到在屏幕上转录的对话，这使得使用 Persona（计算机生成的虚拟化身）进行联系和协作变得更加容易。

AI 让世界变得更加无障碍#

类似于 Apple 对无障碍功能的倡议，许多其他公司也正在积极使用 AI 进行研究和创新，以创建无障碍解决方案。例如，启用 AI 的autonomous vehicles可以通过让出行更加简便，赋予行动不便的人独立性。直到现在，残障人士一直能够使用经过专门改装的车辆（配备手控装置、转向辅助装置和轮椅无障碍功能等适应性设备）来驾驶。随着计算机视觉等 AI 技术的集成，这些车辆现在可以提供更多支持。

Fig 6. 视觉 AI 支持自动驾驶汽车感知。

Tesla's Autopilot 是一个 AI 增强驾驶辅助的好例子。它使用先进的传感器和摄像头来检测障碍物、解释交通信号并提供实时导航辅助。借助这些 AI 输入，车辆可以处理各种驾驶任务，例如保持在车道内以及根据交通状况调整速度。计算机视觉洞察使每个人的驾驶体验更安全、更具无障碍性。

AI 驱动包容性的新时代#

随着这些新的 Apple 更新，我们正在迎来 AI 驱动包容性的新时代。通过将 AI 集成到其无障碍功能中，Apple 正在让残障人士的日常任务变得更轻松，并促进技术领域的包容性和创新。这些进步将对各个市场产生影响：科技公司将设定新的包容性基准，healthcare 将受益于残障人士独立性的提高，而consumer electronics 将看到对无障碍设备更高的需求。未来的技术很可能会为每个人创造无缝的用户体验。

查看我们的 GitHub repository 并加入我们的 community，以随时了解前沿的 AI 发展。探索 AI 如何重塑self-driving技术、manufacturing、healthcare等领域。