Statistical AI

Статистический ИИ — это подход к искусственному интеллекту, при котором системы строятся на основе выявления закономерностей и вероятностей в данных, а не кодирования правил вручную. Статистическая система явно представляет неопределённость, подбирает параметры по примерам, а её качество оценивают по работе на данных, которые она раньше не видела. Так работает почти весь современный ИИ: от спам-фильтров и систем распознавания речи до детекторов объектов и больших языковых моделей (LLM), присваивающих вероятность каждому возможному следующему токену. Этот термин чаще всего используют в противопоставлении символическому ИИ — основанной на правилах и логике традиции, которая доминировала в первые десятилетия развития этой области.

От правил к вероятностям#

С 1950-х по 1980-е годы большинство исследований в области ИИ было посвящено символическим методам: логике, поиску и экспертным системам, для которых инженеры по знаниям вручную записывали правила «если — то». Такие системы работали в узких, чётко заданных областях, но не справлялись с зашумлёнными или неоднозначными входными данными; для каждой новой ситуации требовались новые правила. В 1980-х и 1990-х годах вероятностные методы один за другим заняли ведущие позиции в разных областях. Скрытые марковские модели стали основой распознавания речи, книга Джудеа Перла 1988 года о байесовских сетях сделала вероятностные рассуждения практически применимыми — позднее эта работа была отмечена премией Тьюринга 2011 года; в 1990 году исследователи IBM опубликовали статистический подход к машинному переводу, а в 1995 году появились методы опорных векторов. С 2012 года глубокое обучение масштабировало тот же подход: от признаков, заданных вручную, до исходных пикселей, аудио и текста.

Ключевые идеи#

• Вероятностные модели: Представления выражаются в виде распределений вероятностей, а теорема Байеса обновляет априорное представление с учётом вероятности новых свидетельств и даёт апостериорное представление. Этот же принцип используется в спам-фильтрах, диагностических моделях и трекерах объектов.
• Обучение как оценивание: В ходе обучения подбираются параметры, при которых наблюдаемые данные наиболее вероятны; для большинства моделей это равносильно минимизации функции потерь, обычно с помощью градиентного спуска.
• Обобщение: гибкая модель может подогнаться под шум обучающей выборки, поэтому производительность оценивают на отложенных данных. Компромисс между смещением и дисперсией описывает баланс между слишком простой и слишком гибкой для данных моделью.
• Градация уверенности: Предсказания сопровождаются вероятностями, которые последующие системы могут ограничивать порогом, ранжировать или сочетать с другими свидетельствами.

Наивный байесовский классификатор для фильтрации спама показывает эти идеи всего в нескольких строках. Он оценивает, как часто каждое слово встречается в спаме и обычной почте, а затем объединяет эти оценки с помощью теоремы Байеса, чтобы оценить новое сообщение:

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

# Labeled examples replace hand-written rules: 1 = spam, 0 = not spam
messages = ["win a free prize now", "claim your free cash reward", "limited offer, click now to win"]
messages += ["meeting moved to monday", "can you review my draft today", "lunch with the team on friday"]
labels = [1, 1, 1, 0, 0, 0]

# Count words, then estimate each word's probability under each class
vectorizer = CountVectorizer()
model = MultinomialNB()
model.fit(vectorizer.fit_transform(messages), labels)

for text in ["free prize inside", "draft for monday", "free lunch on friday"]:
    spam_probability = model.predict_proba(vectorizer.transform([text]))[0, 1]
    print(f"{text!r}: P(spam) = {spam_probability:.2f}")

Сообщение «внутри бесплатный приз» получает вероятность спама 0.86, а «черновик на понедельник» — 0.21; сообщение «бесплатный обед в пятницу», сочетающее слова из обоих классов, получает оценку 0.29. Модель усвоила, что слово «бесплатный» указывает на спам, всего по шести размеченным сообщениям.

Семейства статистических методов#

Статистический ИИ охватывает всё: от небольших вероятностных моделей до глубоких сетей с миллиардами параметров; семейства методов различаются тем, сколько структуры задано заранее и сколько нужно данных. Графические модели явно кодируют зависимости и работают на малых объёмах данных; классические методы, например метод k ближайших соседей и градиентный бустинг деревьев, такой как XGBoost и LightGBM, обучаются на таблицах признаков; глубокие сети извлекают признаки самостоятельно из исходных данных:

Статистический ИИ и родственные термины#

• Символический ИИ: Представляет знания в виде явных символов и правил, например правил «если — то» в экспертной системе, и делает выводы с помощью логического вывода. Ход рассуждений можно проследить шаг за шагом, обучающие данные не требуются, но система не справляется со входными данными, на которые её правила не рассчитаны.
• Машинное обучение: Основная практика статистического ИИ. Эти два термина почти полностью совпадают, а выражение «статистический ИИ» употребляют преимущественно при противопоставлении методов, основанных на данных, символическим методам.
• Нейросимвольный ИИ: сочетает обученные модели с символьным рассуждением, например LLM, которая обращается к калькулятору, базе данных или системе доказательства теорем.
• Нечёткая логика: Присваивает значения истинности от 0 до 1 расплывчатым утверждениям, например «в комнате тепло». Это мера расплывчатости, отличная от вероятности события.

Примеры применения в реальных условиях#

• Фильтрация спама: Эссе Пола Грэма 2002 года «План борьбы со спамом» популяризировало байесовские фильтры, которые обучаются оценивать вероятность слов по почте каждого пользователя; современные фильтры применяют ту же идею к гораздо большему числу сигналов.
• Машинный перевод: Запущенный в 2006 году Google Translate использовал статистический машинный перевод, который обучался оценивать вероятности перевода фраз по параллельным текстам; в 2016 году сервис перешёл на нейронный машинный перевод.
• Генерация текста: LLM генерируют текст, на каждом шаге выбирая токен из распределения вероятностей по словарю; перед каждым выбором настройка температуры делает это распределение более или менее выраженным.
• Визуальное восприятие: Детекторы объектов целиком являются статистическими моделями. Ultralytics YOLO26 обучает веса, минимизируя функцию потерь на размеченных изображениях, выдаёт оценку уверенности для каждого прямоугольника, а в режиме predict отбрасывает прямоугольники с оценкой ниже порога conf, равного по умолчанию 0.25.