Data Analytics

Phân tích dữ liệu là thực hành kiểm tra dữ liệu để trả lời câu hỏi và hỗ trợ quyết định. Quy trình này bao gồm thu thập và làm sạch dữ liệu, phân tích bằng thống kê và machine learning, rồi truyền đạt kết quả qua báo cáo, dashboard và trực quan hóa dữ liệu. Nhà bán lẻ tìm hiểu cửa hàng nào mất doanh số trong quý trước, bệnh viện ước tính số ca nhập viện tuần tới và thành phố đếm xe tại giao lộ từ luồng camera đều đang thực hiện phân tích dữ liệu.

Bốn loại phân tích#

Phân tích thường được chia theo câu hỏi cần trả lời, và mỗi loại được xây dựng dựa trên loại trước đó:

• Phân tích mô tả: Điều gì đã xảy ra? Tổng số, giá trị trung bình, phân phối và xu hướng tóm tắt dữ liệu quá khứ; đây là nội dung cốt lõi của báo cáo doanh nghiệp.
• Phân tích chẩn đoán: Vì sao điều đó xảy ra? Các thao tác phân tích sâu, tương quan và so sánh giữa các phân khúc giúp tìm nguyên nhân.
• Phân tích dự đoán: Điều gì sẽ xảy ra? Model thống kê và machine learning dự báo kết quả như nhu cầu, tỷ lệ khách hàng rời bỏ hoặc sự cố thiết bị.
• Phân tích đề xuất: Nên làm gì? Tối ưu hóa và mô phỏng chuyển dự báo thành hành động được khuyến nghị, chẳng hạn cần mở bao nhiêu quầy thanh toán.

Ba bước đầu tiên có thể được thực hiện chỉ trong vài dòng pandas và scikit-learn trên bộ dữ liệu tiểu đường đi kèm scikit-learn; bộ dữ liệu này ghi nhận 10 chỉ số cơ bản của 442 bệnh nhân và điểm tiến triển bệnh một năm sau đó:

from sklearn.datasets import load_diabetes
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

# 442 diabetes patients: 10 baseline measurements and a disease progression score one year later
data = load_diabetes(as_frame=True).frame

# Descriptive: how far did the disease progress?
print(f"progression: mean {data['target'].mean():.0f}, range {data['target'].min():.0f}-{data['target'].max():.0f}")

# Diagnostic: which measurements move with progression?
print(data.corr()["target"].drop("target").nlargest(3).round(2).to_dict())

# Predictive: how well do the measurements forecast progression for new patients?
X_train, X_test, y_train, y_test = train_test_split(data.drop(columns="target"), data["target"], random_state=0)
model = LinearRegression().fit(X_train, y_train)
print(f"R^2 on held-out patients: {model.score(X_test, y_test):.2f}")

Bước mô tả cho thấy điểm tiến triển trung bình là 152, trong khoảng từ 25 đến 346. Bước chẩn đoán cho thấy chỉ số khối cơ thể tương quan mạnh nhất với tiến triển (0,59), tiếp theo là chỉ số triglyceride huyết thanh s5 (0,57) và huyết áp (0,44). Bước dự đoán giải thích được 36% phương sai về tiến triển ở những bệnh nhân model chưa từng thấy, tương ứng R² bằng 0,36.

Quy trình phân tích#

Dự án bắt đầu bằng một câu hỏi cụ thể và chỉ số có thể trả lời câu hỏi đó, sau đó thu thập dữ liệu liên quan từ cơ sở dữ liệu, log, cảm biến hoặc camera. Làm sạch dữ liệu và tiền xử lý dữ liệu xử lý giá trị bị thiếu, dữ liệu trùng lặp và đơn vị không nhất quán; phân tích khám phá biểu diễn phân phối và mối quan hệ trước khi thực hiện bất kỳ bước lập model nào. Sau đó, nhà phân tích áp dụng thuật toán thống kê, phân tích chuỗi thời gian hoặc khai phá dữ liệu rồi báo cáo kết quả cùng độ bất định. Công cụ thường dùng gồm SQL và bảng tính cho câu hỏi nhỏ, pandas và notebook để phân tích, các engine phân tán như Apache Spark cho dữ liệu lớn, và công cụ business intelligence như Tableau và Power BI để tạo dashboard.

Dự án machine learning thực hiện cùng hoạt động phân tích trên dữ liệu và model của chính mình. Trước khi huấn luyện, số lượng mẫu theo lớp và thống kê nhãn cho thấy tình trạng mất cân bằng và thiên lệch bộ dữ liệu; sau khi huấn luyện, ma trận nhầm lẫn và chỉ số theo từng lớp cho biết model phân loại sai lớp nào, điều kiện ánh sáng nào hoặc kích thước đối tượng nào.

Phân tích video#

Thị giác máy tính biến camera thành nguồn dữ liệu cho hoạt động phân tích. Phát hiện đối tượng và theo dõi đối tượng chuyển mỗi khung hình thành số lượng, vị trí và quỹ đạo; các dữ liệu này được tổng hợp thành lượng người qua lại mỗi giờ, chỉ số quản lý hàng đợi như thời gian chờ, số xe mỗi làn hoặc tỷ lệ lỗi mỗi ca sản xuất. Phân tích số lượng người và mức độ lấp đầy tại cửa hàng và văn phòng, cùng với quản lý giao thông ở giao lộ, đều dựa trên quy trình chuyển pixel thành bảng dữ liệu này.

Giải pháp phân tích của Ultralytics YOLO thực hiện chuyển đổi chỉ trong một bước: chạy model YOLO26 có tính năng theo dõi trên mọi khung hình video và vẽ kết quả thành biểu đồ trực tiếp, gồm biểu đồ đường thể hiện tổng số đối tượng phát hiện trên mỗi khung hình hoặc biểu đồ cột, biểu đồ tròn hay biểu đồ vùng thể hiện số lượng theo từng lớp; kết quả có thể được ghi vào video đầu ra.

Phân tích dữ liệu và các thuật ngữ liên quan#

• Khoa học dữ liệu: Lĩnh vực rộng hơn, bao gồm phân tích dữ liệu và xây dựng các model, sản phẩm dữ liệu như công cụ đề xuất để triển khai trong môi trường production.
• Business intelligence (BI): Báo cáo và dashboard dựa trên dữ liệu công ty đã được chọn lọc, chủ yếu phục vụ phân tích mô tả và chẩn đoán.
• Khai phá dữ liệu: Bước khám phá mẫu trong quy trình phân tích, sử dụng thuật toán để tự động tìm các mối liên hệ, cụm và điểm bất thường trong những tập dữ liệu lớn.