Singularity

Технологическая сингулярность — это гипотетический момент в будущем, когда искусственный интеллект (ИИ) сможет совершенствовать себя быстрее, чем люди успеют за ним следить. Это запустит неконтролируемый рост машинного интеллекта и изменения цивилизации, которые невозможно предсказать заранее. Название заимствовано из математики и физики, где сингулярность — это точка, в которой функция или физическая теория перестаёт работать, например центр чёрной дыры. Пока ни одна система ИИ не совершенствовала собственный интеллект без участия человека, поэтому сингулярность остаётся гипотезой. Тем не менее она влияет на то, как исследователи и политики думают об искусственном общем интеллекте (AGI) и безопасности ИИ.

Истоки идеи#

• Джон фон Нейман (1950-е): математик Станислав Улам вспоминал разговор, в котором фон Нейман описал ускоряющееся развитие технологий как приближение к «необходимой сингулярности в истории человечества, за которой человеческие дела в привычном нам понимании уже не смогут продолжаться».
• И. Дж. Гуд (1965): в статье «Размышления о первой ультраразумной машине» статистик описал «взрыв интеллекта»: машина, превосходящая человека, проектирует ещё более совершенные машины, превращая первую такую машину в «последнее изобретение, которое когда-либо потребуется человеку».
• Вернор Виндж (1993): математик и автор научной фантастики популяризировал этот термин в статье «Грядущая технологическая сингулярность», написанной для симпозиума NASA и начинавшейся словами: «В течение тридцати лет у нас появятся технические средства для создания сверхчеловеческого интеллекта».
• Рэй Курцвейл (2005): в книге «Сингулярность уже близка» футуролог экстраполировал экспоненциальные тенденции развития вычислительной техники и предсказал наступление сингулярности в 2045 году. В продолжении, опубликованном в 2024 году, — «Сингулярность стала ещё ближе» — сохранена эта дата, а также указан 2029 год для появления ИИ человеческого уровня.

Как мог бы произойти взрыв интеллекта#

В основе этой гипотезы лежит рекурсивное самосовершенствование. Сейчас инженеры-люди разрабатывают архитектуры нейронных сетей, подбирают данные для обучения и пишут код обучения. Система, способная самостоятельно проводить такие исследования, могла бы создать более мощного преемника, который проводил бы исследования лучше и быстрее, и так далее. Ускорится ли этот цикл или постепенно остановится, зависит от отдачи на каждом этапе: если каждый прирост возможностей приводит к ещё большему ускорению исследований, рост становится неконтролируемым; если же узкими местами становятся вычислительные ресурсы, данные, энергия или эксперименты в реальном мире, рост замедляется и выходит на плато.

Исследователи называют скорость перехода темпом взлёта. Быстрый, или жёсткий, взлёт может за несколько часов или дней привести от человеческого уровня к ИИ, намного превосходящему человека, не оставив времени на исправление ошибок; медленный, или мягкий, взлёт растянется на годы или десятилетия. Наблюдаемые в глубоком обучении законы масштабирования описывают постепенный степенной прирост качества при увеличении вычислительных ресурсов, объёма данных и числа параметров. Поэтому прогресс, обусловленный только масштабированием, идёт вслед за ростом мощности оборудования и инвестиций.

Сингулярность, AGI и сверхинтеллект#

• AGI: уровень возможностей системы, сопоставимый с человеческим почти во всех когнитивных задачах. AGI может появиться и без сингулярности, если самосовершенствование будет медленным или ограниченным.
• Искусственный сверхинтеллект (ASI): уровень возможностей выше AGI. Философ Ник Бостром определяет сверхинтеллект как интеллект, значительно превосходящий когнитивные способности человека почти во всех представляющих интерес областях.
• Сингулярность: событие — переход, при котором самоулучшающийся ИИ переходит от уровня AGI к сверхинтеллекту, и прогнозы человека перестают работать.

Поддержание соответствия систем, превосходящих интеллектом тех, кто ими управляет, человеческим целям — исследовательская задача, известная как сверхвыравнивание.

Предпосылки в современном ИИ#

ИИ уже автоматизирует отдельные узкие этапы собственной разработки. Автоматизированное машинное обучение (AutoML) и поиск нейронных архитектур (NAS) исследуют варианты моделей, которые раньше люди выбирали вручную. Настройка гиперпараметров в Ultralytics YOLO — упрощённая версия той же идеи: генетический алгоритм изменяет параметры обучения, например скорость обучения и силу аугментации, повторно обучает модель и сохраняет набор параметров с наилучшей оценкой. В более крупном масштабе агент для написания кода AlphaEvolve от Google DeepMind нашёл более быстрый способ разбиения матричного умножения: это ускорило ключевое ядро архитектуры Gemini на 23% и сократило время обучения Gemini на 1%.

Критика и дискуссии#

Скептики утверждают, что интеллект не растёт так же, как росло число транзисторов в процессорах. В статье «Сингулярность не близка» (2011) сооснователь Microsoft Пол Аллен и Марк Гривз предложили концепцию «тормоза сложности»: каждый новый шаг в понимании когнитивных процессов открывает новые сложности, поэтому прогресс замедляется. Другие указывают на физические ограничения микросхем и энергетики, а также на то, что некоторые исследования требуют медленных экспериментов в реальном мире. Исследователи, серьёзно относящиеся к этому сценарию, считают, что проблему выравнивания нужно решить до появления таких систем; в мае 2023 года сотни учёных и руководителей компаний в сфере ИИ подписали заявление из одного предложения, в котором говорится, что снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с пандемиями и ядерной войной. Виндж обозначил срок в своём прогнозе: «Я удивлюсь, если это событие произойдёт до 2005 года или после 2030 года».