Что нового в iOS 18: функции универсального доступа от Apple

15 мая 2024 года Apple объявила о предстоящем выпуске ряда обновлений для iOS 18, уделив особое внимание доступности. Новые обновления Apple, которые выйдут позднее в этом году, включают такие инновационные функции, как отслеживание взгляда, тактильная музыка и голосовые команды быстрого доступа.

Функции доступности Apple упрощают использование устройств Apple людям с ограниченной подвижностью, глухим и слабовидящим людям, а также людям с нарушениями речи. За этими возможностями стоят технологические достижения в области чипов Apple, искусственного интеллекта (AI) и машинного обучения. Давай рассмотрим новые функции Apple и их влияние на повседневную жизнь.

Важность инклюзивности#

Как общество, мы должны следить за тем, чтобы технологический прогресс был доступен каждому. Доступность технологий может изменить жизнь многих людей. Например, сегодня технологии играют огромную роль практически в любой работе, но недоступные интерфейсы могут стать препятствием для карьеры людей с инвалидностью. Исследования показали, что в 2018 году уровень безработицы среди людей с инвалидностью был почти вдвое выше, чем среди людей без инвалидности.

Законодательство также помогает продвигать доступность технологий. Многие страны приняли законы, устанавливающие требования к доступности веб-сайтов и цифровых продуктов. В США число судебных исков, связанных с доступностью веб-сайтов, неуклонно росло: с 2017 по 2022 год было подано около 14 000 таких исков, в том числе более 3 000 только в 2022 году. Независимо от требований закона, доступность необходима для инклюзивного общества, в котором каждый может полноценно участвовать в жизни. Именно здесь помогают перечисленные ниже функции доступности Apple.

Функции доступности Apple в прошлом#

С 2009 года Apple работает над тем, чтобы технологии были доступны каждому. В том году компания представила VoiceOver — функцию, которая позволила незрячим и слабовидящим пользователям управлять iPhone с помощью жестов и голосовых подсказок. Функция зачитывает содержимое экрана, упрощая взаимодействие с устройством.

Рис. 1. Ты можешь настроить функцию VoiceOver от Apple так, как тебе нужно.

С тех пор Apple постоянно совершенствовала и расширяла набор функций доступности. Компания добавила увеличение для масштабирования экрана, инверсию цветов для повышения визуального контраста и монозвук для людей с нарушениями слуха. Эти функции значительно упростили взаимодействие с устройствами для пользователей с различными видами инвалидности.

Рассмотрим подробнее некоторые ключевые функции доступности Apple, появившиеся ранее:

• Инверсия цветов: Повышает визуальный контраст, инвертируя цвета, благодаря чему пользователям с некоторыми нарушениями зрения становится проще различать текст и изображения.
• Монозвук: Объединяет стереозвук в один канал, помогая людям с потерей слуха на одно ухо лучше слышать аудио.
• AssistiveTouch: помогает пользователям с физическими ограничениями выполнять сложные сенсорные жесты с помощью настраиваемого экранного меню.
• Управление переключателями: Позволяет людям с нарушениями моторики управлять устройствами с помощью внешних переключателей, например закреплённых на голове или активируемых вдохом и выдохом.

Как технология отслеживания взгляда Apple повышает удобство использования#

Теперь человек с ограниченной подвижностью рук может легко просматривать сайты, отправлять сообщения и даже управлять устройствами умного дома, просто глядя на экран. Эти достижения упрощают повседневную жизнь и позволяют самостоятельно выполнять задачи, которые раньше давались с трудом.

Еще одна интересная функция универсального доступа от Apple, которая скоро появится, — отслеживание взгляда. Она сделает это возможным. Разработанная для пользователей с физическими ограничениями, функция отслеживания взгляда позволяет управлять iPad и iPhone без помощи рук. Используя ИИ и фронтальную камеру, чтобы определять направление взгляда, функция позволяет без труда нажимать кнопки, выполнять свайпы и другие жесты.

Рис. 2. Использование отслеживания взгляда для управления iPad без прикосновений.

Фронтальная камера настраивает и калибрует функцию отслеживания взгляда за несколько секунд. С помощью функции «Управление удержанием» можно взаимодействовать с элементами приложений — например, нажимать кнопки и выполнять свайпы одним взглядом. Пользователи могут не беспокоиться о конфиденциальности: устройство безопасно обрабатывает все данные с помощью машинного обучения непосредственно на устройстве. Функция отслеживания взгляда работает в приложениях iPadOS и iOS без дополнительного оборудования или аксессуаров. В visionOS для Apple Vision Pro также есть функция отслеживания взгляда, которая упрощает навигацию.

Почувствуй ритм с тактильной отдачей Apple Music#

Music Haptics — ещё одна из новых функций универсального доступа Apple, которые скоро появятся. Она создана, чтобы глухие и слабослышащие пользователи могли ощущать музыку на своих iPhone. При использовании Taptic Engine создаёт постукивания, текстуры и тонкие вибрации, синхронизированные со звуком. Так можно почувствовать ритм и нюансы музыки. Функция весьма проработана: Taptic Engine способен создавать вибрации разной интенсивности, рисунка и продолжительности, передавая ощущение музыки.

Рис. 3. Music Haptics делает музыку доступнее.

Music Haptics помогает слабослышащим людям приобщиться к музыке способом, который раньше был недоступен. Это открывает новые возможности в повседневной жизни. Пробежка под музыку или прослушивание песни с другом превращаются в совместное и захватывающее занятие. Вибрации могут соответствовать энергии плейлиста для тренировок и делать упражнения мотивирующими или помогать успокоиться под любимую мелодию для медитации. Music Haptics поддерживает миллионы композиций из каталога Apple Music и будет доступна разработчикам как API, чтобы они могли создавать более доступные приложения.

Управляй устройством без усилий с помощью голосовых команд Apple#

Среди новых функций универсального доступа Apple представила Vocal Shortcuts, которая улучшает распознавание речи с помощью ИИ. Пользователи iPhone и iPad могут задавать «пользовательские фразы», чтобы Siri запускала команды быстрого доступа и выполняла сложные задачи. Это особенно полезно людям с такими заболеваниями, как детский церебральный паралич, БАС или последствия инсульта.

Рис. 4. Vocal Shortcuts использует ИИ для расширенного распознавания.

Функция «Распознавание нестандартной речи» использует машинное обучение непосредственно на устройстве, чтобы распознавать и адаптироваться к разным речевым особенностям. Благодаря этому такие задачи, как отправка сообщений и создание напоминаний, становятся проще. Vocal Shortcuts поддерживает пользовательские словари и сложные слова, обеспечивая персонализированное и эффективное взаимодействие.

Более доступные автомобильные поездки с Apple#

Появились и две новые функции универсального доступа Apple, которые помогают пассажирам удобнее пользоваться устройствами в дороге. Например, Vehicle Motion Cues — новая функция для iPhone и iPad, которая помогает пассажирам уменьшить укачивание в движущемся автомобиле.

Укачивание часто возникает из-за несоответствия между тем, что человек видит, и тем, что ощущает, поэтому пользоваться устройствами в движении становится неприятно. Vehicle Motion Cues решает эту проблему: на краях экрана отображаются анимированные точки, показывающие изменения движения автомобиля. Они уменьшают сенсорный конфликт, не мешая просмотру основного содержимого. Функция использует встроенные датчики iPhone и iPad, чтобы определять, находится ли пользователь в движущемся автомобиле, и соответствующим образом адаптироваться.

Рис. 5. Vehicle Motion Cues упрощает длительные поездки на автомобиле для всех, кто пользуется устройствами.

CarPlay также получил обновления для повышения доступности. Voice Control позволяет управлять CarPlay и приложениями с помощью голосовых команд, а Sound Recognition предупреждает глухих и слабослышащих людей о гудках автомобилей и сиренах. Для пользователей с дальтонизмом Color Filters повышает удобство интерфейса CarPlay благодаря цветовым фильтрам. Эти улучшения помогают сделать поездки комфортнее для всех пассажиров.

Субтитры в реальном времени для VisionOS#

В Apple Vision Pro уже есть функции универсального доступа Apple — например, субтитры, скрытые субтитры и расшифровка речи, — которые помогают пользователям воспринимать аудио и видео. Теперь Apple расширяет их возможности. Новая функция Live Captions на базе ИИ позволяет всем следить за устной речью во время живых разговоров и за аудио из приложений: текст отображается на экране в реальном времени. Это особенно полезно для глухих и слабослышащих людей.

Например, во время звонка FaceTime в visionOS пользователи могут видеть на экране расшифровку произносимых реплик, благодаря чему им проще общаться и совместно работать, используя Persona — виртуальный аватар, созданный компьютером.

ИИ делает мир доступнее#

Как и Apple, стремящаяся повысить доступность, многие другие компании активно исследуют и применяют ИИ для создания доступных решений. Например, автономные автомобили с ИИ могут помочь людям с ограниченной подвижностью стать независимее, упростив самостоятельное вождение. До сих пор люди с инвалидностью могли водить специально модифицированные автомобили с такими приспособлениями, как ручное управление, вспомогательные устройства для рулевого управления и оборудование для доступа на инвалидной коляске. Благодаря внедрению технологий ИИ, таких как компьютерное зрение, эти автомобили теперь могут оказывать ещё большую поддержку.

Рис. 6. Vision AI помогает автономным автомобилям воспринимать окружающую обстановку.

Автопилот Tesla — наглядный пример помощи водителю на основе ИИ. Система использует современные датчики и камеры, чтобы обнаруживать препятствия, распознавать сигналы светофора и помогать с навигацией в реальном времени. Благодаря этим данным ИИ автомобиль может выполнять различные задачи вождения, например оставаться в пределах полосы и регулировать скорость с учётом дорожной обстановки. Данные компьютерного зрения делают вождение безопаснее и доступнее для всех.

Новая эра инклюзивности на основе ИИ#

Благодаря новым обновлениям Apple начинается новая эра инклюзивности на основе ИИ. Встраивая ИИ в функции универсального доступа, Apple упрощает повседневные задачи для людей с инвалидностью и способствует инклюзивности и инновациям в технологиях. Эти достижения повлияют на разные рынки: технологические компании установят новые стандарты инклюзивности, здравоохранение получит преимущества благодаря большей самостоятельности людей с инвалидностью, а спрос на доступную бытовую электронику вырастет. Вероятно, будущее технологий — это создание доступного пользовательского опыта для каждого.

Загляни в наш репозиторий на GitHub и присоединяйся к нашему сообществу, чтобы следить за последними достижениями в области ИИ. Узнай, как ИИ меняет технологии для автономного вождения, производство, здравоохранение и другие отрасли.