Data Mining

Khai thác dữ liệu là quá trình khám phá và phân tích các khối thông tin lớn để thu thập các mẫu hình và xu hướng có ý nghĩa. Nó nằm ở điểm giao thoa giữa thống kê, machine learning (ML) và hệ thống cơ sở dữ liệu, đóng vai trò là một bước quan trọng trong quy trình "Khám phá tri thức trong cơ sở dữ liệu" (KDD). Bằng cách sàng lọc lượng lớn đầu vào thô, khai thác dữ liệu biến đổi nhiễu phi cấu trúc thành các thông tin chi tiết có cấu trúc, hữu ích mà các doanh nghiệp và nhà nghiên cứu sử dụng để đưa ra các quyết định sáng suốt.

Trong bối cảnh artificial intelligence (AI) hiện đại, khai thác dữ liệu thường là tiền đề cho mô hình dự đoán. Trước khi một thuật toán có thể dự đoán tương lai, nó phải hiểu quá khứ. Ví dụ, trong computer vision (CV), các kỹ thuật khai thác có thể phân tích hàng ngàn hình ảnh để xác định các đặc điểm chung—như cạnh, kết cấu hoặc hình dạng—định nghĩa một lớp đối tượng cụ thể, tạo nền tảng cho việc huấn luyện các datasets mạnh mẽ.

Link to this sectionCác kỹ thuật chính trong khai thác dữ liệu#

Khai thác dữ liệu dựa trên một số phương pháp tinh vi để khám phá các mối quan hệ ẩn giấu trong dữ liệu. Những kỹ thuật này cho phép các nhà phân tích tiến xa hơn việc tóm tắt dữ liệu đơn giản để đi vào khám phá chuyên sâu.

• Classification: Điều này liên quan đến việc phân loại các mục dữ liệu vào các nhóm hoặc lớp được xác định trước. Trong vision AI, điều này phản ánh quy trình huấn luyện một model để phân biệt giữa "xe hơi" và "người đi bộ" dựa trên các ví dụ đã được gán nhãn trong quá khứ.
• Clustering Analysis: Khác với phân loại, clustering nhóm các điểm dữ liệu dựa trên sự tương đồng mà không cần các nhãn được xác định trước. Điều này rất cần thiết cho unsupervised learning, nơi một thuật toán có thể tự động nhóm các hành vi mua sắm của khách hàng hoặc các kết cấu hình ảnh tương tự. Bạn có thể đọc thêm về các phương pháp clustering trong tài liệu của Scikit-learn.
• Anomaly Detection: Kỹ thuật này xác định các điểm dữ liệu sai lệch đáng kể so với mức bình thường. Nó rất quan trọng để phát hiện gian lận trong tài chính hoặc tìm kiếm các lỗi sản xuất trên dây chuyền lắp ráp.
• Học luật kết hợp (Association Rule Learning): Phương pháp này khám phá mối quan hệ giữa các biến trong cơ sở dữ liệu. Một ví dụ điển hình là market basket analysis, được các nhà bán lẻ sử dụng để xác định rằng những khách hàng mua bánh mì cũng có khả năng mua bơ.
• Regression Analysis: Được sử dụng để dự đoán giá trị số liên tục dựa trên các biến khác, hồi quy rất quan trọng để dự báo xu hướng bán hàng hoặc ước tính khoảng cách của một đối tượng trong các tác vụ depth estimation.

Link to this sectionCác ứng dụng trong thực tế#

Tiện ích của khai thác dữ liệu bao trùm hầu hết mọi ngành công nghiệp, thúc đẩy hiệu quả và đổi mới bằng cách tiết lộ các mẫu hình mà mắt thường không thể nhìn thấy.

Link to this sectionSản xuất và kiểm soát chất lượng#

Trong smart manufacturing, khai thác dữ liệu được sử dụng để phân tích dữ liệu cảm biến từ máy móc. Bằng cách áp dụng các thuật toán predictive maintenance, các nhà máy có thể dự đoán lỗi thiết bị trước khi chúng xảy ra. Hơn nữa, các model computer vision như YOLO26 có thể tạo ra các nhật ký suy luận (inference logs) được khai thác để xác định các loại lỗi lặp đi lặp lại, giúp các kỹ sư điều chỉnh quy trình sản xuất để giảm thiểu lãng phí.

Link to this sectionChẩn đoán y tế#

Khai thác dữ liệu biến đổi healthcare bằng cách phân tích hồ sơ sức khỏe điện tử và hình ảnh y tế. Các nhà nghiên cứu khai thác dữ liệu bộ gen để tìm mối liên hệ giữa các trình tự gen cụ thể và bệnh tật. Trong chẩn đoán hình ảnh, việc khai thác các tập dữ liệu X-quang lớn giúp xác định các dấu hiệu sớm của các tình trạng như viêm phổi hoặc khối u, hỗ trợ trong medical image analysis.

Link to this sectionPhân biệt các thuật ngữ liên quan#

Để hiểu đầy đủ về khai thác dữ liệu, cần phân biệt nó với các khái niệm liên quan chặt chẽ trong lĩnh vực khoa học dữ liệu.

• Khai thác dữ liệu so với Machine Learning: Mặc dù có sự trùng lặp, khai thác dữ liệu tập trung vào việc khám phá các mẫu hình hiện có, trong khi machine learning tập trung vào việc sử dụng các mẫu hình đó để học hỏi và dự đoán các kết quả trong tương lai. Khai thác dữ liệu thường là giai đoạn thăm dò cung cấp thông tin cho việc kỹ thuật đặc trưng (feature engineering) cho các ML model.
• Khai thác dữ liệu so với Data Visualization: Trực quan hóa là biểu diễn đồ họa của dữ liệu (biểu đồ, đồ thị). Khai thác dữ liệu là quá trình phân tích tạo ra những thông tin chi tiết cần được trực quan hóa. Các công cụ như Tableau thường trực quan hóa kết quả của quá trình khai thác dữ liệu.
• Khai thác dữ liệu so với Data Warehousing: Kho dữ liệu liên quan đến việc lưu trữ và quản lý tập trung khối lượng lớn dữ liệu từ nhiều nguồn. Khai thác dữ liệu là quy trình được thực hiện trên dữ liệu được lưu kho đó để trích xuất giá trị.

Link to this sectionKhai thác dữ liệu trong thực tế với Ultralytics#

Trong một quy trình computer vision, việc "khai thác" thường xảy ra khi phân tích kết quả suy luận (inference results) để tìm các phát hiện có giá trị cao hoặc các trường hợp biên khó xử lý. Quy trình này được hợp lý hóa bằng cách sử dụng Ultralytics Platform, giúp quản lý và phân tích các bộ dữ liệu.

Ví dụ sau đây minh họa cách "khai thác" một tập hợp hình ảnh để tìm các phát hiện có độ tin cậy cao cụ thể bằng cách sử dụng YOLO26 model. Điều này mô phỏng quy trình lọc các luồng dữ liệu lớn để tìm các sự kiện liên quan.

from ultralytics import YOLO

# Load the YOLO26n model
model = YOLO("yolo26n.pt")

# List of image paths (simulating a dataset)
image_files = ["image1.jpg", "image2.jpg", "image3.jpg"]

# Run inference on the batch
results = model(image_files)

# 'Mine' the results for high-confidence 'person' detections (class 0)
high_conf_people = []
for result in results:
    # Filter boxes where class is 0 (person) and confidence > 0.8
    detections = result.boxes[(result.boxes.cls == 0) & (result.boxes.conf > 0.8)]
    if len(detections) > 0:
        high_conf_people.append(result.path)

print(f"Found high-confidence people in: {high_conf_people}")

Đoạn mã này minh họa một hoạt động khai thác cơ bản: lọc các dự đoán thô để trích xuất một tập hợp con quan tâm—hình ảnh chứa con người được xác định với độ chính xác cao—sau đó có thể được sử dụng cho active learning nhằm tiếp tục cải thiện hiệu suất của model.