Внутри iOS 18: обзор функций доступности Apple

15 мая 2024 года Apple анонсировала ряд предстоящих обновлений для iOS 18 с упором на доступность. Новые обновления Apple, запланированные к выпуску позднее в этом году, включают инновационные функции, такие как Eye Tracking, Music Haptics и Vocal Shortcuts.

Эти функции доступности Apple упрощают использование устройств для людей с нарушениями опорно-двигательного аппарата, слуха или зрения, а также для тех, у кого есть трудности с речью. Технологические достижения, стоящие за этими возможностями — это Apple silicon, искусственный интеллект (ИИ) и машинное обучение. Давай изучим новые функции Apple и то, как они повлияют на повседневную жизнь.

Link to this sectionВажность инклюзивности#

Как общество, мы должны убедиться, что наши технологические достижения доступны каждому. Сделать технологии доступными — значит изменить жизни многих людей. Например, сейчас работа во многом связана с технологиями, но недоступные интерфейсы могут создавать карьерные барьеры для людей с инвалидностью. Исследования показывают, что в 2018 году уровень безработицы среди людей с инвалидностью был почти вдвое выше, чем среди тех, у кого ее нет.

Правовые системы также вовлечены в дискуссию о доступности технологий. Многие страны приняли законы, устанавливающие стандарты доступности для веб-сайтов и цифровых продуктов. В США количество судебных исков, связанных с доступностью веб-сайтов, неуклонно растет: с 2017 по 2022 год было подано около 14 000 исков, включая более 3000 только в 2022 году. Независимо от законодательных требований, доступность необходима для инклюзивного общества, где каждый может участвовать в жизни в полной мере. Именно здесь на помощь приходят следующие функции доступности Apple.

Link to this sectionФункции доступности Apple в прошлом#

Apple работает над тем, чтобы сделать технологии доступными для всех, с 2009 года. В том же году они представили VoiceOver — функцию, позволявшую слепым и слабовидящим пользователям управлять iPhone с помощью жестов и звуковой обратной связи. Озвучивание того, что отображается на экране, облегчает взаимодействие пользователей с их устройствами.

Рис. 1. Ты можешь настроить функцию VoiceOver от Apple так, как тебе удобно.

С тех пор Apple постоянно улучшала и расширяла свои функции доступности. Они представили Zoom для увеличения экрана, Invert Colors для улучшения контрастности изображения и Mono Audio для пользователей с нарушениями слуха. Эти функции значительно улучшили взаимодействие пользователей с различными ограничениями возможностей с их устройствами.

Вот более подробный обзор некоторых ключевых функций доступности Apple, которые мы видели в прошлом:

• Invert Colors: улучшает контрастность, инвертируя цвета, что облегчает чтение текста и просмотр изображений для пользователей с определенными нарушениями зрения.
• Mono Audio: объединяет стереозвук в один канал, помогая пользователям с потерей слуха на одно ухо лучше слышать аудио.
• Assistive Touch: помогает пользователям с физическими ограничениями выполнять сложные сенсорные жесты с помощью настраиваемого экранного меню.
• Switch Control: позволяет пользователям с нарушениями двигательных функций управлять своими устройствами с помощью внешних переключателей, например, закрепленных на голове или типа «дунул-втянул».

Link to this sectionКак технология отслеживания взгляда от Apple улучшает удобство использования#

Человек с ограниченной подвижностью рук теперь может легко пользоваться интернетом, отправлять сообщения или даже управлять устройствами «умного дома», просто глядя на экран. Эти достижения делают их повседневную жизнь более простой, позволяя самостоятельно выполнять задачи, которые раньше казались им трудными.

Еще одна интересная предстоящая функция доступности Apple — Eye Tracking, которая делает это реальностью. Разработанная для пользователей с физическими ограничениями, Eye Tracking предоставляет возможность навигации без использования рук на iPad и iPhone. Используя ИИ и фронтальную камеру, чтобы видеть, куда ты смотришь, она позволяет легко нажимать кнопки, свайпать и выполнять другие жесты.

Рис. 2. Использование Eye Tracking для управления iPad без физического контакта.

Фронтальная камера настраивает и калибрует Eye Tracking за секунды. Ты можешь использовать Dwell Control для взаимодействия с элементами приложений, управляя кнопками и свайпами только с помощью глаз. Пользователи могут быть уверены в своей приватности, так как устройство безопасно обрабатывает все данные с помощью машинного обучения прямо на устройстве. Eye Tracking бесшовно работает в приложениях iPadOS и iOS без необходимости в дополнительном оборудовании или аксессуарах. VisionOS для Apple Vision Pro также включает функцию отслеживания взгляда для удобной навигации.

Link to this sectionПочувствуй ритм с Apple Music Haptics#

Music Haptics — еще одна из готовящихся к выпуску функций доступности Apple. Она была разработана для того, чтобы глухие или слабослышащие пользователи могли чувствовать музыку на своих iPhone. Во время работы Taptic Engine генерирует тактильные отклики, текстуры и уточненные вибрации, которые синхронизируются с аудио. Ты можешь ощутить ритм и нюансы музыки. Это довольно глубокая проработка, благодаря способности Taptic Engine создавать различные по интенсивности, ритму и длительности вибрации, чтобы передать чувства от музыки.

Рис. 3. Music Haptics делает музыку доступнее.

Music Haptics может помочь слабослышащим людям взаимодействовать с музыкой способом, который ранее был невозможен. Это открывает мир новых впечатлений в их повседневной жизни. Пробежка под музыку или совместное прослушивание песни с другом становятся общим и захватывающим опытом. Вибрации могут соответствовать энергии тренировочного плейлиста, делая занятия спортом более мотивирующими, или помогать успокоиться под любимую медитативную мелодию. Music Haptics поддерживает миллионы песен в каталоге Apple Music и будет доступна как API для разработчиков, позволяя им создавать более доступные приложения.

Link to this sectionЛегкое управление с помощью Vocal Shortcuts от Apple#

Apple разработала Vocal Shortcuts, чтобы улучшить системы распознавания речи с помощью ИИ, включив их в список новых функций доступности. Она позволяет пользователям iPhone и iPad создавать «пользовательские фразы», чтобы Siri могла запускать команды и выполнять сложные задачи. Это особенно полезно для людей с такими состояниями, как церебральный паралич, БАС или последствия инсульта.

Рис. 4. Vocal Shortcuts использует ИИ для продвинутого распознавания речи.

Функция «Listen for Atypical Speech» использует машинное обучение на устройстве, чтобы распознавать различные особенности речи и адаптироваться к ним, упрощая выполнение задач, например, отправку сообщений или установку напоминаний. Поддерживая пользовательские словари и сложные слова, Vocal Shortcuts обеспечивает персонализированный и эффективный пользовательский опыт.

Link to this sectionДелаем поездки в автомобиле доступнее с Apple#

Также появилось несколько новых функций доступности Apple, чтобы помочь пассажирам комфортнее пользоваться устройствами во время поездок. Например, Vehicle Motion Cues — новая функция для iPhone и iPad, помогающая уменьшить укачивание у пассажиров в движущемся транспорте.

Укачивание часто возникает из-за сенсорного рассогласования между тем, что человек видит, и тем, что он чувствует, что делает использование устройств в движении некомфортным. Vehicle Motion Cues решает это, отображая анимированные точки по краям экрана, которые имитируют изменения движения автомобиля. Это снижает сенсорный конфликт, не мешая основному контенту. Функция использует встроенные сенсоры iPhone и iPad, чтобы определять, что пользователь находится в движущемся автомобиле, и соответствующим образом адаптироваться.

Рис. 5. Vehicle Motion Cues делает длительные поездки проще для всех, кто пользуется устройствами.

CarPlay также получила обновления для улучшения доступности. Voice Control позволяет управлять CarPlay и приложениями с помощью голосовых команд, а Sound Recognition предупреждает глухих или слабослышащих пользователей о сигналах автомобилей и сиренах. Для пользователей с цветовой слепотой Color Filters улучшают визуальную доступность интерфейса CarPlay. Эти улучшения помогают сделать поездку в автомобиле более комфортной для всех пассажиров.

Link to this sectionСубтитры в реальном времени для VisionOS#

Apple Vision Pro уже предлагает функции доступности Apple, такие как субтитры и транскрипции, чтобы помочь пользователям понимать аудио и видео. Теперь Apple расширяет эти возможности. Новая функция Live Captions на базе ИИ позволяет всем следить за диалогами в реальных беседах и аудио из приложений, отображая текст на экране в режиме реального времени. Это особенно полезно для глухих и слабослышащих людей.

Например, во время вызова FaceTime в VisionOS пользователи могут видеть транскрипцию произносимых диалогов на экране, что упрощает общение и совместную работу с использованием их Persona (виртуального аватара, созданного компьютером).

Link to this sectionИИ делает мир более доступным#

Как и Apple, многие другие компании активно исследуют и внедряют ИИ для создания доступных решений. Например, автономные транспортные средства на базе ИИ могут дать независимость людям с нарушениями подвижности, упрощая самостоятельное вождение. До сих пор люди с инвалидностью могли водить только специально модифицированные автомобили с адаптациями, такими как ручное управление, вспомогательные устройства для руля и доступ для инвалидных колясок. С интеграцией ИИ-технологий, таких как компьютерное зрение, эти транспортные средства теперь могут обеспечить еще большую поддержку.

Рис. 6. Компьютерное зрение — ключевой элемент самоуправляемых автомобилей.

Tesla's Autopilot — хороший пример помощи водителю на базе ИИ. Она использует продвинутые датчики и камеры для обнаружения препятствий, распознавания сигналов светофора и навигации в реальном времени. С помощью этих ИИ-входных данных автомобиль может справляться с различными дорожными задачами, такими как удержание полосы и корректировка скорости в соответствии с дорожными условиями. Идеи компьютерного зрения делают вождение безопаснее и доступнее для всех.

Link to this sectionНовая эра инклюзивности, основанной на ИИ#

С этими новыми обновлениями Apple мы открываем новую эру инклюзивности, основанной на ИИ. Интегрируя ИИ в свои функции доступности, Apple делает повседневные задачи проще для людей с инвалидностью, продвигая идеи инклюзивности и инноваций в технологиях. Эти достижения повлияют на многие рынки: технологические компании установят новые стандарты инклюзивности, здравоохранение выиграет от повышения независимости людей с инвалидностью, а бытовая электроника увидит рост спроса на доступные устройства. Скорее всего, будущее технологий связано с созданием бесшовного пользовательского опыта для каждого.

Загляни в наш GitHub repository и стань частью нашего community, чтобы оставаться в курсе передовых разработок в области ИИ. Узнай, как ИИ меняет self-driving технологии, manufacturing, healthcare и многое другое.