Predictive Modeling

Предиктивное моделирование — это процесс построения статистической модели или модели машинного обучения на исторических данных для оценки неизвестного или будущего результата, например того, отменит ли клиент подписку, сколько продаст магазин на следующей неделе или указывает ли снимок на заболевание. Модель обучается находить связь между входными признаками и известным результатом на прошлых примерах — это разновидность обучения с учителем, — а затем применяет эту связь к новым случаям, часто возвращая вместе с предсказанием вероятность или диапазон значений. Предиктивная аналитика — это практика применения таких моделей для принятия решений в маркетинге, финансах, операционной деятельности и здравоохранении; она находится между описательной аналитикой, которая обобщает произошедшее, и предписывающей аналитикой, которая рекомендует дальнейшие действия.

Процесс предиктивного моделирования#

Проект начинается с определения целевого показателя и решения, на которое он повлияет, после чего собираются исторические примеры, входные данные для которых были известны в момент, когда делался бы прогноз. Конструирование признаков преобразует исходные записи во входные данные модели, а данные разделяют на обучающую, валидационную и тестовую выборки. В задачах прогнозирования данные разделяют по времени, чтобы модель всегда оценивали на периодах, следующих за теми, на которых она обучалась: случайное разделение или любой признак, кодирующий правильный ответ, приводит к утечке данных и завышенным оценкам. Кандидатные модели сравнивают с простым базовым решением на отложенных данных, а после развертывания отслеживают дрейф данных, поскольку выученные моделью закономерности ослабевают по мере изменения мира.

Для оценки используют метрики, подходящие к решению: точность, полноту и площадь под ROC-кривой для классификаторов, а также среднюю абсолютную ошибку (MAE) или корень из среднеквадратичной ошибки для числовых предсказаний. Кросс-валидация оценивает качество на небольших наборах данных путем усреднения результатов нескольких разделений на обучающую и тестовую выборки. В этом примере с помощью scikit-learn прогнозируется прогрессирование диабета через год после исходных измерений пациента; две модели сравниваются с базовым вариантом, который всегда предсказывает среднее значение:

from sklearn.datasets import load_diabetes
from sklearn.dummy import DummyRegressor
from sklearn.ensemble import HistGradientBoostingRegressor
from sklearn.linear_model import Ridge
from sklearn.model_selection import cross_val_score

# 442 patients: 10 baseline measurements and disease progression one year later
X, y = load_diabetes(return_X_y=True)

models = {
    "Baseline (always predict the mean)": DummyRegressor(),
    "Ridge regression": Ridge(alpha=0.1),
    "Gradient-boosted trees": HistGradientBoostingRegressor(max_depth=3, random_state=0),
}
for name, model in models.items():
    # Mean absolute error on held-out folds of 5-fold cross-validation
    scores = cross_val_score(model, X, y, cv=5, scoring="neg_mean_absolute_error")
    print(f"{name}: MAE {-scores.mean():.1f}")

Базовый вариант в среднем ошибается на 66,0 балла оценки прогрессирования, гребневая регрессия — на 44,6, а деревья с градиентным бустингом — на 46,5. Таким образом, обе модели уменьшают ошибку примерно на треть, а на этой выборке из 442 пациентов более простая линейная модель оказывается точнее.

Типы предиктивных моделей#

Предиктивные модели различаются по оцениваемому результату. Модели классификации, например логистическая регрессия и деревья решений, предсказывают категорию и обычно ее вероятность. Регрессионные модели, например линейная регрессия, предсказывают число. Модели прогнозирования для временных рядов предсказывают будущие значения последовательности на основе ее предыдущих значений, сезонности и внешних факторов, а модели выживаемости предсказывают время до события, например поломки машины, в том числе когда событие еще не произошло. Для табличных данных обычно используют регуляризованные линейные модели и ансамбли деревьев, например случайные леса и XGBoost, тогда как на изображениях, аудио и тексте доминируют нейронные сети, а базовые модели для таблиц делают предсказания на новых таблицах без обучения отдельной модели для каждого набора данных.

Прогнозное моделирование в компьютерном зрении#

Модели компьютерного зрения — это предиктивные модели, на вход которым подаются пиксели. YOLO26 в режиме predict возвращает для каждого найденного на изображении объекта предсказанный класс, оценку уверенности и координаты рамки, а подсчет объектов на основе этих предсказаний часто дает входные признаки для последующих прогнозов, например почасовой поток посетителей для планирования смен.

Применение#

• Предиктивное обслуживание: Модели, обученные на данных о вибрации, температуре и времени работы, оценивают, когда произойдет отказ компонента, чтобы отремонтировать его до поломки, а не по фиксированному графику.
• Здравоохранение: Модели риска оценивают вероятность повторной госпитализации или сепсиса по медицинским картам пациентов, а модели анализа изображений выявляют возможные патологии, которые радиологи проверяют в первую очередь.
• Оценка кредитного риска и мошенничества: Банки предсказывают вероятность дефолта заемщика или мошенничества с карточной транзакцией, оценивая каждую транзакцию в реальном времени при ее авторизации.
• Планирование спроса и запасов: Ритейлеры прогнозируют продажи товаров в каждом магазине на основе истории, цен, акций и праздников, чтобы решить, сколько товара заказать.

Предиктивное моделирование и связанные термины#

• Интеллектуальный анализ данных: Ищет закономерности, кластеры и связи в больших наборах данных, независимо от того, задан ли целевой показатель для предсказания; предиктивное моделирование всегда оценивает конкретный результат.
• Генеративный ИИ: Моделирует распределение самих данных, чтобы создавать новый текст, изображения или аудио, тогда как предиктивная модель отображает входные данные в целевое значение.
• Причинно-следственный вывод: Оценивает последствия вмешательства, на которые предиктивная модель не может ответить, опираясь лишь на корреляции. Модель, обученная на медицинских записях о пневмонии за 1990-е годы, выучила, что у пациентов с астмой ниже риск смерти, поскольку таких пациентов обычно сразу помещали в реанимацию. Если бы врачи руководствовались этим предсказанием, они могли бы отправить домой пациентов с высоким риском.