Внутри iOS 18: обзор функций доступности Apple

15 мая 2024 года Apple анонсировала грядущую серию обновлений для iOS 18 с упором на доступность. Новые обновления от Apple, запланированные к выходу позже в этом году, включают в себя такие инновационные функции, как управление взглядом (Eye Tracking), тактильные сигналы для музыки (Music Haptics) и голосовые ярлыки (Vocal Shortcuts).

Эти функции доступности Apple упрощают использование устройств для людей с нарушениями опорно-двигательного аппарата, слуха или зрения, а также для тех, у кого есть трудности с речью. Технологические достижения, стоящие за этими возможностями — это Apple silicon, искусственный интеллект (ИИ) и машинное обучение. Давай изучим новые функции Apple и то, как они повлияют на повседневную жизнь.

Важность инклюзивности#

Как общество, мы должны убедиться, что наши технологические достижения доступны каждому. Сделать технологии доступными — значит изменить жизни многих людей. Например, сейчас работа во многом связана с технологиями, но недоступные интерфейсы могут создавать карьерные барьеры для людей с инвалидностью. Исследования показывают, что в 2018 году уровень безработицы среди людей с инвалидностью был почти вдвое выше, чем среди тех, у кого ее нет.

Правовые системы также уделяют внимание вопросу обеспечения доступности технологий. Во многих странах приняты законы, предписывающие стандарты доступности для веб-сайтов и цифровых продуктов. В США количество судебных исков, связанных с доступностью сайтов, неуклонно растет: в период с 2017 по 2022 год было подано около 14 000 таких исков, причем более 3 000 — только в 2022 году. Независимо от требований законодательства, доступность имеет решающее значение для инклюзивного общества, где каждый может участвовать в жизни наравне со всеми. Именно здесь на помощь приходят следующие функции доступности от Apple.

Функции доступности Apple в прошлом#

Apple работает над тем, чтобы сделать технологии доступными для всех, с 2009 года. В том же году они представили VoiceOver — функцию, позволявшую слепым и слабовидящим пользователям управлять iPhone с помощью жестов и звуковой обратной связи. Озвучивание того, что отображается на экране, облегчает взаимодействие пользователей с их устройствами.

Рис. 1. Ты можешь настроить функцию VoiceOver от Apple в соответствии со своими потребностями.

С тех пор Apple постоянно улучшала и расширяла свои функции доступности. Они представили Zoom для увеличения экрана, Invert Colors для улучшения контрастности изображения и Mono Audio для пользователей с нарушениями слуха. Эти функции значительно улучшили взаимодействие пользователей с различными ограничениями возможностей с их устройствами.

Вот более подробный обзор некоторых ключевых функций доступности Apple, которые мы видели в прошлом:

• Invert Colors: улучшает контрастность, инвертируя цвета, что облегчает чтение текста и просмотр изображений для пользователей с определенными нарушениями зрения.
• Mono Audio: объединяет стереозвук в один канал, помогая пользователям с потерей слуха на одно ухо лучше слышать аудио.
• Assistive Touch: помогает пользователям с физическими ограничениями выполнять сложные сенсорные жесты с помощью настраиваемого экранного меню.
• Switch Control: позволяет пользователям с нарушениями двигательных функций управлять своими устройствами с помощью внешних переключателей, например, закрепленных на голове или типа «дунул-втянул».

Как технология отслеживания взгляда от Apple улучшает удобство использования#

Человек с ограниченной подвижностью рук теперь может легко пользоваться интернетом, отправлять сообщения или даже управлять устройствами «умного дома», просто глядя на экран. Эти достижения делают их повседневную жизнь более простой, позволяя самостоятельно выполнять задачи, которые раньше казались им трудными.

Еще одна интересная предстоящая функция доступности Apple — Eye Tracking, которая делает это реальностью. Разработанная для пользователей с физическими ограничениями, Eye Tracking предоставляет возможность навигации без использования рук на iPad и iPhone. Используя ИИ и фронтальную камеру, чтобы видеть, куда ты смотришь, она позволяет легко нажимать кнопки, свайпать и выполнять другие жесты.

Рис. 2. Использование функции отслеживания взгляда для работы с iPad без физического прикосновения к нему.

Фронтальная камера настраивает и калибрует Eye Tracking за секунды. Ты можешь использовать Dwell Control для взаимодействия с элементами приложений, управляя кнопками и свайпами только с помощью глаз. Пользователи могут быть уверены в своей приватности, так как устройство безопасно обрабатывает все данные с помощью машинного обучения прямо на устройстве. Eye Tracking бесшовно работает в приложениях iPadOS и iOS без необходимости в дополнительном оборудовании или аксессуарах. VisionOS для Apple Vision Pro также включает функцию отслеживания взгляда для удобной навигации.

Почувствуй ритм с Apple Music Haptics#

Music Haptics — еще одна из готовящихся к выпуску функций доступности Apple. Она была разработана для того, чтобы глухие или слабослышащие пользователи могли чувствовать музыку на своих iPhone. Во время работы Taptic Engine генерирует тактильные отклики, текстуры и уточненные вибрации, которые синхронизируются с аудио. Ты можешь ощутить ритм и нюансы музыки. Это довольно глубокая проработка, благодаря способности Taptic Engine создавать различные по интенсивности, ритму и длительности вибрации, чтобы передать чувства от музыки.

Рис. 3. Тактильные сигналы для музыки делают музыку более доступной.

Music Haptics может помочь слабослышащим людям взаимодействовать с музыкой способом, который ранее был невозможен. Это открывает мир новых впечатлений в их повседневной жизни. Пробежка под музыку или совместное прослушивание песни с другом становятся общим и захватывающим опытом. Вибрации могут соответствовать энергии тренировочного плейлиста, делая занятия спортом более мотивирующими, или помогать успокоиться под любимую медитативную мелодию. Music Haptics поддерживает миллионы песен в каталоге Apple Music и будет доступна как API для разработчиков, позволяя им создавать более доступные приложения.

Легкое управление с помощью Vocal Shortcuts от Apple#

Apple разработала Vocal Shortcuts, чтобы улучшить системы распознавания речи с помощью ИИ, включив их в список новых функций доступности. Она позволяет пользователям iPhone и iPad создавать «пользовательские фразы», чтобы Siri могла запускать команды и выполнять сложные задачи. Это особенно полезно для людей с такими состояниями, как церебральный паралич, БАС или последствия инсульта.

Рис. 4. Голосовые ярлыки используют ИИ для расширенного распознавания.

Функция «Listen for Atypical Speech» использует машинное обучение на устройстве, чтобы распознавать различные особенности речи и адаптироваться к ним, упрощая выполнение задач, например, отправку сообщений или установку напоминаний. Поддерживая пользовательские словари и сложные слова, Vocal Shortcuts обеспечивает персонализированный и эффективный пользовательский опыт.

Делаем поездки в автомобиле доступнее с Apple#

Также появилось несколько новых функций доступности Apple, чтобы помочь пассажирам комфортнее пользоваться устройствами во время поездок. Например, Vehicle Motion Cues — новая функция для iPhone и iPad, помогающая уменьшить укачивание у пассажиров в движущемся транспорте.

Укачивание часто возникает из-за сенсорного рассогласования между тем, что человек видит, и тем, что он чувствует, что делает использование устройств в движении некомфортным. Vehicle Motion Cues решает это, отображая анимированные точки по краям экрана, которые имитируют изменения движения автомобиля. Это снижает сенсорный конфликт, не мешая основному контенту. Функция использует встроенные сенсоры iPhone и iPad, чтобы определять, что пользователь находится в движущемся автомобиле, и соответствующим образом адаптироваться.

Рис. 5. Функция сигналов о движении транспорта облегчает долгие поездки в машине для всех, кто пользуется своими устройствами.

CarPlay также получила обновления для улучшения доступности. Voice Control позволяет управлять CarPlay и приложениями с помощью голосовых команд, а Sound Recognition предупреждает глухих или слабослышащих пользователей о сигналах автомобилей и сиренах. Для пользователей с цветовой слепотой Color Filters улучшают визуальную доступность интерфейса CarPlay. Эти улучшения помогают сделать поездку в автомобиле более комфортной для всех пассажиров.

Субтитры в реальном времени для VisionOS#

Apple Vision Pro уже предлагает функции доступности Apple, такие как субтитры и транскрипции, чтобы помочь пользователям понимать аудио и видео. Теперь Apple расширяет эти возможности. Новая функция Live Captions на базе ИИ позволяет всем следить за диалогами в реальных беседах и аудио из приложений, отображая текст на экране в режиме реального времени. Это особенно полезно для глухих и слабослышащих людей.

Например, во время вызова FaceTime в VisionOS пользователи могут видеть транскрипцию произносимых диалогов на экране, что упрощает общение и совместную работу с использованием их Persona (виртуального аватара, созданного компьютером).

ИИ делает мир более доступным#

Подобно инициативам Apple в области доступности, многие другие компании активно ведут исследования и внедряют инновации с использованием ИИ для создания доступных решений. Например, автономные транспортные средства с поддержкой ИИ могут дать людям с ограниченными возможностями передвижения независимость, упростив им вождение. До сих пор люди с ограниченными возможностями могли водить машину, используя специально модифицированные автомобили с такими адаптациями, как ручное управление, вспомогательные средства рулевого управления и функции для инвалидных колясок. Благодаря интеграции технологий ИИ, таких как компьютерное зрение, эти автомобили теперь могут оказывать еще большую поддержку.

Рис. 6. Визуальный ИИ поддерживает восприятие автономного транспортного средства.

Автопилот от Tesla — отличный пример помощи водителю на базе ИИ. Он использует современные датчики и камеры для обнаружения препятствий, интерпретации сигналов светофора и предоставления помощи в навигации в реальном времени. С этими данными от ИИ автомобиль может справляться с различными задачами вождения, такими как удержание полосы движения и регулирование скорости в зависимости от дорожных условий. Инсайты компьютерного зрения делают вождение более безопасным и доступным для каждого.

Новая эра инклюзивности, основанной на ИИ#

С этими новыми обновлениями от Apple мы открываем новую эру инклюзивности на базе ИИ. Интегрируя ИИ в свои функции доступности, Apple упрощает повседневные задачи для людей с ограниченными возможностями, а также продвигает инклюзивность и инновации в технологиях. Эти достижения окажут влияние на различные рынки: технологические компании установят новые стандарты инклюзивности, здравоохранение выиграет от большей независимости людей с ограниченными возможностями, а в сфере бытовой электроники вырастет спрос на доступные устройства. Вероятно, будущее технологий заключается в создании бесшовного пользовательского опыта для каждого.

Загляни в наш репозиторий на GitHub и стань частью нашего сообщества, чтобы быть в курсе передовых разработок в области ИИ. Узнай, как ИИ меняет технологии беспилотного вождения, производство, здравоохранение и многое другое.