Data Analytics

데이터 분석은 질문에 답하고 의사결정을 지원하기 위해 데이터를 살펴보는 작업입니다. 여기에는 데이터 수집 및 정리, 통계와 머신러닝을 활용한 분석, 보고서와 대시보드 및 데이터 시각화를 통한 결과 전달이 포함됩니다. 지난 분기에 어느 매장에서 매출이 감소했는지 묻는 소매업체, 다음 주 입원 환자 수를 추산하는 병원, 카메라 영상으로 교차로의 차량 수를 세는 도시 모두 데이터 분석을 수행하는 것입니다.

네 가지 분석 유형#

분석은 답하려는 질문에 따라 일반적으로 나뉘며, 각 유형은 앞선 유형을 바탕으로 합니다:

• 기술 분석: 무슨 일이 있었습니까? 합계, 평균, 분포, 추세로 과거 데이터를 요약하며 비즈니스 보고서의 기본이 됩니다.
• 진단 분석: 왜 그런 일이 발생했습니까? 세부 분석, 상관관계, 세그먼트 간 비교를 통해 원인을 찾습니다.
• 예측 분석: 무슨 일이 발생할까요? 통계 및 머신러닝 모델로 수요, 고객 이탈, 장비 고장과 같은 결과를 예측합니다.
• 처방 분석: 어떤 조치를 취해야 합니까? 최적화와 시뮬레이션으로 예측 결과를 권장 조치로 바꿉니다. 예를 들어 계산대를 몇 개 열어야 할지 제안합니다.

scikit-learn에 포함된 당뇨병 데이터세트에는 환자 442명의 기준 측정값 10개와 1년 후 질병 진행 점수가 기록되어 있습니다. 이 데이터세트에서는 pandas와 scikit-learn을 사용해 앞의 세 가지 분석을 몇 줄의 코드로 수행할 수 있습니다:

from sklearn.datasets import load_diabetes
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

# 442 diabetes patients: 10 baseline measurements and a disease progression score one year later
data = load_diabetes(as_frame=True).frame

# Descriptive: how far did the disease progress?
print(f"progression: mean {data['target'].mean():.0f}, range {data['target'].min():.0f}-{data['target'].max():.0f}")

# Diagnostic: which measurements move with progression?
print(data.corr()["target"].drop("target").nlargest(3).round(2).to_dict())

# Predictive: how well do the measurements forecast progression for new patients?
X_train, X_test, y_train, y_test = train_test_split(data.drop(columns="target"), data["target"], random_state=0)
model = LinearRegression().fit(X_train, y_train)
print(f"R^2 on held-out patients: {model.score(X_test, y_test):.2f}")

기술 분석 결과 진행 점수의 평균은 152이며, 범위는 25~346입니다. 진단 분석에서는 체질량 지수가 진행 점수와 가장 강한 상관관계(0.59)를 보였고, 혈청 중성지방 측정값 s5(0.57)과 혈압(0.44)이 그 뒤를 이었습니다. 예측 분석에서는 모델이 본 적 없는 환자의 진행 점수 분산 중 36%를 설명하며, R²는 0.36입니다.

분석 프로세스#

프로젝트는 정확한 질문과 이를 답할 지표를 정하는 것으로 시작하며, 이어 데이터베이스, 로그, 센서, 카메라에서 관련 데이터를 수집합니다. 데이터 정제와 데이터 전처리로 결측값, 중복, 일관되지 않은 단위를 처리하고, 모델링 전에 탐색적 분석으로 분포와 관계를 시각화합니다. 그런 다음 분석가는 통계, 시계열 분석, 데이터 마이닝 알고리즘을 적용하고 불확실성과 함께 결과를 보고합니다. 일반적인 도구로는 간단한 질문에 SQL과 스프레드시트, 분석에 pandas와 노트북, 빅데이터에 Apache Spark와 같은 분산 엔진, 대시보드에 Tableau와 Power BI 같은 비즈니스 인텔리전스 도구가 있습니다.

머신러닝 프로젝트에서도 자체 데이터와 모델에 같은 분석을 수행합니다. 학습 전에 클래스 개수와 라벨 통계를 확인하면 불균형 및 데이터세트 편향을 발견할 수 있습니다. 학습 후에는 혼동 행렬과 클래스별 지표를 통해 모델이 어떤 클래스, 조명 조건, 객체 크기에서 잘못 예측하는지 확인할 수 있습니다.

비디오 분석#

컴퓨터 비전은 카메라를 분석용 데이터 소스로 바꿉니다. 객체 탐지와 객체 추적은 각 프레임을 개수, 위치, 궤적으로 변환합니다. 이를 집계하면 시간당 보행자 수, 대기 시간이나 차선별 차량 수와 같은 대기열 관리 지표, 생산 교대조별 결함률을 산출할 수 있습니다. 매장과 사무실의 사람 수 및 점유율 분석, 교차로의 교통 관리는 모두 픽셀을 표로 변환하는 이 과정을 활용합니다.

Ultralytics YOLO의 분석 솔루션은 이 변환을 한 번에 수행합니다. 동영상의 모든 프레임에 추적을 적용해 YOLO26 모델을 실행하고 결과를 실시간 차트로 표시합니다. 프레임별 전체 탐지 수를 꺾은선 그래프로 표시하거나, 클래스별 개수를 막대 그래프, 원형 차트 또는 영역 그래프로 나타낼 수 있으며, 결과를 출력 동영상에 기록할 수도 있습니다.

데이터 분석과 관련 용어 비교#

• 데이터 과학: 분석을 포함하는 더 넓은 분야로, 프로덕션 환경에서 실행되는 추천 엔진과 같은 모델과 데이터 제품도 구축합니다.
• 비즈니스 인텔리전스 (BI): 주로 기술적·진단적 분석을 위해 정제된 회사 데이터를 보고서와 대시보드로 제공합니다.
• 데이터 마이닝: 분석 과정에서 패턴을 발견하는 단계로, 알고리즘을 사용해 대규모 데이터셋의 연관성, 클러스터, 이상 징후를 자동으로 찾습니다.