Data Mining

Khai thác dữ liệu là quá trình khám phá và phân tích các khối thông tin lớn để rút ra các mẫu và xu hướng có ý nghĩa. Nó nằm ở giao điểm của thống kê, machine learning (ML) và hệ thống cơ sở dữ liệu, đóng vai trò là một bước quan trọng trong quy trình "Khám phá tri thức trong cơ sở dữ liệu" (KDD). Bằng cách sàng lọc lượng lớn dữ liệu đầu vào thô, khai thác dữ liệu biến đổi nhiễu phi cấu trúc thành các thông tin chi tiết có cấu trúc, có thể hành động mà các doanh nghiệp và nhà nghiên cứu sử dụng để đưa ra các quyết định sáng suốt.

Trong bối cảnh artificial intelligence (AI) hiện đại, khai thác dữ liệu thường là bước tiền đề cho mô hình dự đoán. Trước khi một thuật toán có thể dự đoán tương lai, nó phải hiểu được quá khứ. Ví dụ, trong computer vision (CV), các kỹ thuật khai thác có thể phân tích hàng nghìn hình ảnh để xác định các đặc điểm chung—chẳng hạn như cạnh, kết cấu hoặc hình dạng—định nghĩa một lớp đối tượng cụ thể, tạo nền tảng để huấn luyện các datasets mạnh mẽ.

Các kỹ thuật chính trong khai thác dữ liệu#

Khai thác dữ liệu dựa trên một số phương pháp tinh vi để khám phá các mối quan hệ ẩn giấu trong dữ liệu. Những kỹ thuật này cho phép các nhà phân tích tiến xa hơn việc tóm tắt dữ liệu đơn giản để đi vào khám phá chuyên sâu.

• Classification: Quá trình này bao gồm việc phân loại các mục dữ liệu thành các nhóm hoặc lớp được xác định trước. Trong AI thị giác, điều này phản ánh quá trình huấn luyện một mô hình để phân biệt giữa "xe hơi" và "người đi bộ" dựa trên các ví dụ được gán nhãn lịch sử.
• Clustering Analysis: Khác với phân loại, gom cụm nhóm các điểm dữ liệu dựa trên sự tương đồng mà không cần nhãn được định nghĩa trước. Điều này rất cần thiết cho unsupervised learning, nơi thuật toán có thể tự động nhóm các hành vi mua sắm của khách hàng hoặc các kết cấu hình ảnh tương tự. Bạn có thể đọc thêm về các phương pháp gom cụm trong tài liệu của Scikit-learn.
• Anomaly Detection: Kỹ thuật này xác định các điểm dữ liệu lệch biệt đáng kể so với mức bình thường. Nó rất quan trọng đối với việc phát hiện gian lận trong tài chính hoặc tìm kiếm các lỗi sản xuất trên dây chuyền sản xuất.
• Association Rule Learning: Phương pháp này khám phá mối quan hệ giữa các biến trong cơ sở dữ liệu. Một ví dụ kinh điển là market basket analysis, được các nhà bán lẻ sử dụng để xác định rằng khách hàng mua bánh mì cũng có khả năng cao mua bơ.
• Regression Analysis: Được sử dụng để dự đoán một giá trị số liên tục dựa trên các biến khác, hồi quy đóng vai trò quan trọng trong việc dự báo xu hướng bán hàng hoặc ước tính khoảng cách của một đối tượng trong các tác vụ depth estimation.

Các ứng dụng trong thực tế#

Tiện ích của khai thác dữ liệu bao trùm hầu hết mọi ngành công nghiệp, thúc đẩy hiệu quả và đổi mới bằng cách tiết lộ các mẫu hình mà mắt thường không thể nhìn thấy.

Sản xuất và kiểm soát chất lượng#

Trong smart manufacturing, khai thác dữ liệu được sử dụng để phân tích dữ liệu cảm biến từ máy móc. Bằng cách áp dụng các thuật toán predictive maintenance, các nhà máy có thể dự đoán sự cố thiết bị trước khi chúng xảy ra. Hơn nữa, các mô hình computer vision như YOLO26 có thể tạo ra các nhật ký suy luận được khai thác để xác định các loại lỗi lặp lại, giúp các kỹ sư điều chỉnh quy trình sản xuất để giảm thiểu lãng phí.

Chẩn đoán y tế#

Khai thác dữ liệu chuyển đổi healthcare bằng cách phân tích hồ sơ sức khỏe điện tử và hình ảnh y tế. Các nhà nghiên cứu khai thác dữ liệu bộ gen để tìm mối关联 giữa các trình tự gen cụ thể và bệnh tật. Trong chẩn đoán hình ảnh, việc khai thác các tập dữ liệu X-quang lớn giúp xác định các chỉ báo sớm về các tình trạng như viêm phổi hoặc khối u, từ đó hỗ trợ cho medical image analysis.

Phân biệt các thuật ngữ liên quan#

Để hiểu đầy đủ về khai thác dữ liệu, cần phân biệt nó với các khái niệm liên quan chặt chẽ trong lĩnh vực khoa học dữ liệu.

• Data Mining vs. Machine Learning: Mặc dù có điểm chồng chéo, khai thác dữ liệu tập trung vào việc khám phá các mẫu hiện có, trong khi machine learning tập trung vào việc sử dụng các mẫu đó để học hỏi và dự đoán kết quả trong tương lai. Khai thác thường là giai đoạn thăm dò cung cấp thông tin cho kỹ thuật đặc trưng cho các mô hình ML.
• Data Mining vs. Data Visualization: Trực quan hóa là sự thể hiện bằng đồ họa của dữ liệu (biểu đồ, đồ thị). Khai thác là quá trình phân tích tạo ra các thông tin chi tiết để được trực quan hóa. Các công cụ như Tableau thường trực quan hóa kết quả của việc khai thác dữ liệu.
• Data Mining vs. Data Warehousing: Kho lưu trữ dữ liệu liên quan đến việc lưu trữ tập trung và quản lý khối lượng lớn dữ liệu từ nhiều nguồn. Khai thác là quá trình được thực hiện trên dữ liệu được lưu trữ đó để trích xuất giá trị.

Khai thác dữ liệu trong thực tế với Ultralytics#

Trong một quy trình computer vision, "khai thác" thường xảy ra khi phân tích kết quả suy luận để tìm các phát hiện có giá trị cao hoặc các trường hợp ngoại lệ khó. Quá trình này được hợp lý hóa bằng cách sử dụng Ultralytics Platform, giúp quản lý và phân tích các tập dữ liệu.

Ví dụ sau đây minh họa cách "khai thác" một tập hợp hình ảnh để tìm các phát hiện cụ thể có độ tin cậy cao bằng cách sử dụng YOLO26 model. Điều này mô phỏng quá trình lọc các luồng dữ liệu lớn để tìm các sự kiện có liên quan.

from ultralytics import YOLO

# Load the YOLO26n model
model = YOLO("yolo26n.pt")

# List of image paths (simulating a dataset)
image_files = ["image1.jpg", "image2.jpg", "image3.jpg"]

# Run inference on the batch
results = model(image_files)

# 'Mine' the results for high-confidence 'person' detections (class 0)
high_conf_people = []
for result in results:
    # Filter boxes where class is 0 (person) and confidence > 0.8
    detections = result.boxes[(result.boxes.cls == 0) & (result.boxes.conf > 0.8)]
    if len(detections) > 0:
        high_conf_people.append(result.path)

print(f"Found high-confidence people in: {high_conf_people}")

Đoạn mã này minh họa một hoạt động khai thác cơ bản: lọc các dự đoán thô để trích xuất một tập hợp con quan tâm—các hình ảnh chứa người được xác định với độ chắc chắn cao—sau đó có thể được sử dụng cho active learning để cải thiện hơn nữa hiệu suất mô hình.