Внутри iOS 18: обзор функций доступности Apple

15 мая 2024 года Apple анонсировала предстоящий набор обновлений для iOS 18 с особым акцентом на доступность. Запланированные к выпуску позднее в этом году новые обновления Apple включают такие инновационные функции, как Eye Tracking, Music Haptics и Vocal Shortcuts.

Эти функции доступности Apple упрощают использование устройств Apple для людей с ограниченной подвижностью, глухих и слабослышащих, людей с нарушениями зрения и речевыми нарушениями. Кремний Apple, искусственный интеллект (AI) и машинное обучение — технологические достижения, лежащие в основе таких возможностей. Давай рассмотрим новые функции Apple и их влияние на повседневную жизнь.

Важность инклюзивности#

Как общество, мы должны сделать так, чтобы технологический прогресс был доступен каждому. Доступная технология способна изменить жизнь многих людей. Например, сегодня технологии играют огромную роль практически в любой работе, но недоступные интерфейсы могут создавать препятствия для карьерного развития людей с инвалидностью. Исследования показывают, что в 2018 году уровень безработицы среди людей с инвалидностью был почти вдвое выше, чем среди людей без инвалидности.

Правовые системы также уделяют внимание доступности технологий. Многие страны приняли законы, устанавливающие обязательные стандарты доступности для веб-сайтов и цифровых продуктов. В США число судебных исков, связанных с доступностью веб-сайтов, неуклонно растёт: с 2017 по 2022 год было подано около 14 000 исков о доступности веб-сайтов, включая более 3 000 исков в 2022 году. Независимо от требований законодательства, доступность необходима для инклюзивного общества, в котором каждый может полноценно участвовать в жизни. Именно здесь на помощь приходят следующие функции доступности Apple.

Предыдущие функции доступности Apple#

Apple работает над тем, чтобы сделать технологии доступными для всех, с 2009 года. В том году компания представила VoiceOver — функцию, которая позволила слепым и слабовидящим пользователям перемещаться по iPhone с помощью жестов и звуковой обратной связи. Озвучивание содержимого экрана упрощает взаимодействие пользователей с устройствами.

Рис. 1. Ты можешь настроить функцию VoiceOver от Apple в соответствии со своими потребностями.

С тех пор Apple постоянно совершенствовала и расширяла свои функции доступности. Компания представила Zoom для увеличения изображения на экране, Invert Colors для улучшения визуального контраста и Mono Audio для людей с нарушениями слуха. Эти функции значительно упростили взаимодействие пользователей с различными видами инвалидности со своими устройствами.

Вот более подробный обзор некоторых ключевых функций доступности Apple, которые были доступны ранее:

• Invert Colors: улучшает визуальный контраст за счёт инверсии цветов, благодаря чему текст и изображения легче различать пользователям с некоторыми нарушениями зрения.
• Mono Audio: объединяет стереозвук в один канал, помогая пользователям с потерей слуха на одно ухо лучше слышать аудио.
• Assistive Touch: помогает пользователям с физическими ограничениями выполнять сложные сенсорные жесты с помощью настраиваемого экранного меню.
• Switch Control: позволяет пользователям с двигательными нарушениями управлять устройствами с помощью внешних переключателей, например крепящихся на голове или активируемых вдохом и выдохом.

Как технология Eye Tracking от Apple повышает удобство использования#

Теперь человек с ограниченной подвижностью рук может легко просматривать интернет, отправлять сообщения и даже управлять устройствами умного дома, просто глядя на экран. Эти достижения делают повседневную жизнь более удобной, позволяя самостоятельно выполнять задачи, которые раньше казались сложными.

Ещё одна интересная будущая функция доступности Apple — Eye Tracking, благодаря которой это становится реальностью. Разработанная для пользователей с физическими ограничениями, Eye Tracking обеспечивает навигацию без помощи рук на iPad и iPhone. Используя AI и фронтальную камеру для определения направления взгляда, функция позволяет легко активировать кнопки, выполнять смахивания и другие жесты.

Рис. 2. Использование Eye Tracking для управления iPad без физического прикосновения.

Фронтальная камера настраивает и калибрует Eye Tracking за несколько секунд. Для взаимодействия с элементами приложений можно использовать Dwell Control, получая доступ к таким функциям, как кнопки и смахивания, одним взглядом. Пользователи могут быть уверены в защите конфиденциальности: устройство безопасно обрабатывает все данные с помощью машинного обучения непосредственно на устройстве. Eye Tracking работает без проблем в приложениях iPadOS и iOS, не требуя дополнительного оборудования или аксессуаров. В VisionOS Apple Vision Pro также предусмотрена функция отслеживания взгляда для удобной навигации.

Почувствуй ритм с Apple Music Haptics#

Music Haptics — ещё одна из готовящихся к выпуску функций доступности Apple. Она разработана, чтобы глухие и слабослышащие пользователи могли воспринимать музыку на iPhone. При использовании Taptic Engine создаёт постукивания, тактильные ощущения и точные вибрации, синхронизированные с аудио. Ты можешь ощущать ритм и нюансы музыки. Впечатления получаются очень насыщенными благодаря способности Taptic Engine создавать вибрации различной интенсивности, с разными узорами и продолжительностью, передавая ощущение музыки.

Рис. 3. Music Haptics делает музыку доступнее.

Music Haptics может связать слабослышащего человека с музыкой способом, который раньше был невозможен. Это открывает мир новых впечатлений в повседневной жизни. Пробежка под музыку или прослушивание песни с другом превращаются в совместный и захватывающий опыт. Вибрации могут соответствовать энергии плейлиста для тренировок, делая занятия более мотивирующими, или помогать успокоить нервы под любимую мелодию для медитации. Music Haptics поддерживает миллионы песен в каталоге Apple Music и будет доступна разработчикам как API, позволяя им создавать более доступные приложения.

Удобное управление с помощью Vocal Shortcuts от Apple#

Apple разработала Vocal Shortcuts, чтобы с помощью AI усовершенствовать речевые системы в рамках нового набора функций доступности. Функция позволяет пользователям iPhone и iPad создавать «пользовательские фразы», чтобы Siri могла запускать быстрые команды и выполнять сложные задачи. Это особенно полезно для людей с такими состояниями, как церебральный паралич, БАС или последствия инсульта.

Рис. 4. Vocal Shortcuts использует AI для расширенного распознавания.

Функция «Listen for Atypical Speech» использует машинное обучение непосредственно на устройстве, чтобы распознавать различные речевые особенности и адаптироваться к ним, упрощая такие задачи, как отправка сообщений и установка напоминаний. Благодаря поддержке пользовательских словарей и сложных слов Vocal Shortcuts обеспечивают персонализированный и эффективный пользовательский опыт.

Как Apple делает поездки на автомобиле доступнее#

Также появились несколько новых функций доступности Apple, помогающих пассажирам комфортнее пользоваться устройствами во время поездок. Например, Vehicle Motion Cues — новая функция для iPhone и iPad, которая помогает уменьшить укачивание пассажиров в движущемся транспорте.

Укачивание часто возникает из-за сенсорного несоответствия между тем, что человек видит, и тем, что он ощущает, из-за чего пользоваться устройствами во время движения становится некомфортно. Vehicle Motion Cues решает эту проблему, отображая анимированные точки по краям экрана, которые показывают изменения движения транспорта. Функция уменьшает сенсорный конфликт, не мешая основному содержимому. Для определения нахождения пользователя в движущемся транспорте и соответствующей настройки функция использует встроенные датчики iPhone и iPad.

Рис. 5. Vehicle Motion Cues делает длительные поездки на автомобиле комфортнее для всех, кто пользуется устройствами.

CarPlay также получил обновления для повышения доступности. Voice Control позволяет управлять CarPlay и его приложениями с помощью голосовых команд, а Sound Recognition уведомляет глухих и слабослышащих пользователей о звуках автомобильных гудков и сирен. Для пользователей с дальтонизмом Color Filters повышает удобство визуального восприятия интерфейса CarPlay. Эти улучшения помогают сделать поездку на автомобиле комфортнее для всех пассажиров.

Субтитры в реальном времени для VisionOS#

Apple Vision Pro уже предлагает такие функции доступности Apple, как субтитры, скрытые субтитры и транскрипции, помогающие пользователям воспринимать аудио и видео. Теперь Apple расширяет эти возможности. Новая функция Live Captions на базе AI позволяет каждому следить за устной речью в разговоре в реальном времени и за аудио из приложений, отображая текст на экране. Это особенно полезно для глухих и слабослышащих людей.

Например, во время звонка FaceTime в VisionOS пользователи могут видеть расшифровку устной речи на экране, что упрощает общение и совместную работу с использованием их Persona — виртуального аватара, созданного компьютером.

AI делает мир доступнее#

Как и Apple в рамках своих инициатив по повышению доступности, многие другие компании активно исследуют возможности AI и внедряют инновации, чтобы создавать доступные решения. Например, автономные транспортные средства с поддержкой AI могут дать людям с ограниченной подвижностью независимость, упростив самостоятельное вождение. До сих пор люди с инвалидностью могли водить специально модифицированные автомобили с такими адаптациями, как ручное управление, вспомогательные устройства для рулевого управления и функции для пользователей инвалидных колясок. Благодаря интеграции технологий AI, таких как компьютерное зрение, эти транспортные средства теперь могут обеспечивать ещё большую поддержку.

Рис. 6. Vision AI обеспечивает восприятие окружающей обстановки автономным транспортным средством.

Autopilot от Tesla — хороший пример усовершенствованной с помощью AI системы помощи водителю. Она использует передовые датчики и камеры для обнаружения препятствий, распознавания дорожных сигналов и навигации в реальном времени. Благодаря этим данным AI автомобиль может выполнять различные задачи вождения, например удерживаться в полосе и регулировать скорость в зависимости от дорожной ситуации. Данные компьютерного зрения делают вождение безопаснее и доступнее для всех.

Новая эра инклюзивности на основе AI#

Благодаря этим новым обновлениям Apple мы вступаем в новую эру инклюзивности на основе AI. Интегрируя AI в функции доступности, Apple упрощает повседневные задачи для людей с инвалидностью и продвигает инклюзивность и инновации в технологиях. Эти достижения повлияют на различные рынки: технологические компании установят новые ориентиры инклюзивности, здравоохранение выиграет от повышения самостоятельности людей с инвалидностью, а потребительская электроника столкнётся с ростом спроса на доступные устройства. Вероятно, будущее технологий связано с созданием удобного и бесшовного пользовательского опыта для каждого.

Загляни в наш репозиторий GitHub и стань частью нашего сообщества, чтобы быть в курсе передовых разработок в области AI. Узнай, как AI меняет технологии беспилотного вождения, производство, здравоохранение и другие отрасли.