Data Analytics

Аналитика данных — это изучение данных для получения ответов на вопросы и поддержки решений. Она охватывает сбор и очистку данных, их анализ с помощью статистики и машинного обучения, а также представление результатов в отчётах, панелях мониторинга и визуализациях данных. Розничная сеть, выясняющая, в каких магазинах упали продажи в прошлом квартале, больница, оценивающая число поступлений на следующей неделе, и городские службы, подсчитывающие машины на перекрёстке по видеопотокам, — все занимаются аналитикой данных.

Четыре типа аналитики#

Аналитику обычно делят по типу вопроса, на который она отвечает; каждый следующий тип опирается на предыдущий:

• Описательная аналитика: Что произошло? Итоговые значения, средние, распределения и тенденции обобщают прошлые данные и составляют основу бизнес-отчётов.
• Диагностическая аналитика: Почему это произошло? Детализированный анализ, корреляции и сравнения сегментов помогают выявить причины.
• Прогнозная аналитика: Что произойдёт? Статистические модели и модели машинного обучения прогнозируют такие результаты, как спрос, отток клиентов или отказ оборудования.
• Предписывающая аналитика: Что нужно сделать? Оптимизация и моделирование преобразуют прогнозы в рекомендуемые действия, например определяют, сколько касс следует открыть.

Первые три типа аналитики можно реализовать в нескольких строках кода с помощью pandas и scikit-learn, используя включённый в scikit-learn набор данных о диабете. В нём содержатся 10 исходных измерений для 442 пациентов и оценка прогрессирования болезни год спустя:

from sklearn.datasets import load_diabetes
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

# 442 diabetes patients: 10 baseline measurements and a disease progression score one year later
data = load_diabetes(as_frame=True).frame

# Descriptive: how far did the disease progress?
print(f"progression: mean {data['target'].mean():.0f}, range {data['target'].min():.0f}-{data['target'].max():.0f}")

# Diagnostic: which measurements move with progression?
print(data.corr()["target"].drop("target").nlargest(3).round(2).to_dict())

# Predictive: how well do the measurements forecast progression for new patients?
X_train, X_test, y_train, y_test = train_test_split(data.drop(columns="target"), data["target"], random_state=0)
model = LinearRegression().fit(X_train, y_train)
print(f"R^2 on held-out patients: {model.score(X_test, y_test):.2f}")

Описательный анализ показывает, что средняя оценка прогрессирования составляет 152 при диапазоне от 25 до 346. Диагностический анализ выявляет самую сильную корреляцию прогрессирования с индексом массы тела (0,59), затем идут показатель сывороточных триглицеридов s5 (0,57) и артериальное давление (0,44). Прогнозная модель объясняет 36% разброса прогрессирования у пациентов, которых она не видела: R² равно 0,36.

Процесс анализа данных#

Проект начинается с чёткой формулировки вопроса и метрики, которая на него отвечает; затем собираются релевантные данные из баз данных, журналов, датчиков или камер. Очистка данных и предварительная обработка данных устраняют пропуски, дубликаты и несогласованные единицы измерения. До моделирования исследовательский анализ строит графики распределений и взаимосвязей. Затем аналитики применяют статистические методы, анализ временных рядов или алгоритмы интеллектуального анализа данных и сообщают результаты с учётом их неопределённости. Для небольших задач обычно используют SQL и электронные таблицы, для анализа — pandas и ноутбуки, для больших данных — распределённые движки, например Apache Spark, а для панелей мониторинга — инструменты бизнес-аналитики, такие как Tableau и Power BI.

В проектах машинного обучения аналогичный анализ применяют к собственным данным и моделям. До обучения количество объектов каждого класса и статистика меток выявляют дисбаланс и смещение набора данных; после обучения матрица ошибок и метрики по классам показывают, какие классы, условия освещения или размеры объектов модель определяет неправильно.

Видеоаналитика#

Компьютерное зрение превращает камеры в источники данных для аналитики. Обнаружение объектов и отслеживание объектов преобразуют каждый кадр в сведения о количестве, положении и траекториях. Их агрегируют, чтобы подсчитать поток посетителей за час, рассчитать показатели управления очередями, например время ожидания, количество машин в каждой полосе или число дефектов за производственную смену. Подсчёт людей и аналитика заполняемости в магазинах и офисах, а также управление дорожным движением на перекрёстках основаны на преобразовании пикселей в таблицы.

Решение Analytics Ultralytics YOLO выполняет это преобразование за один этап: запускает модель YOLO26 с отслеживанием на каждом кадре видео и отображает результаты в виде графика в реальном времени — линейного графика общего количества обнаружений на кадр, столбчатой диаграммы, круговой диаграммы или графика с областями для числа объектов каждого класса. Результат можно записать в выходное видео.

Аналитика данных и смежные понятия#

• Наука о данных: более широкая область, которая включает аналитику, а также создание моделей и продуктов на основе данных, например рекомендательных систем, работающих в промышленной эксплуатации.
• Бизнес-аналитика (BI): отчёты и дашборды на основе подготовленных данных компании, в основном описательная и диагностическая аналитика.
• Интеллектуальный анализ данных: этап поиска закономерностей в аналитике, на котором алгоритмы автоматически выявляют взаимосвязи, кластеры и аномалии в больших наборах данных.