K-Nearest Neighbors (KNN)

K-Nearest Neighbors (KNN) là một thuật toán mạnh mẽ và trực quan được sử dụng trong lĩnh vực supervised learning cho cả tác vụ phân loại và hồi quy. Nổi bật với sự đơn giản, KNN thường được phân loại là "lazy learner" vì nó không xây dựng model hay học các tham số trong giai đoạn training. Thay vào đó, nó ghi nhớ toàn bộ tập training data và thực hiện tính toán chỉ khi có yêu cầu dự đoán. Nguyên lý cốt lõi của thuật toán dựa trên độ tương đồng của đặc trưng: nó giả định rằng các điểm dữ liệu có các thuộc tính tương tự tồn tại ở khoảng cách gần nhau trong không gian đặc trưng đa chiều.

Cách thức thuật toán vận hành#

Cơ chế của K-Nearest Neighbors được thúc đẩy bởi các phép tính khoảng cách. Khi một điểm truy vấn mới được đưa vào, thuật toán sẽ tìm kiếm trong tập dữ liệu đã lưu trữ để tìm ra số lượng 'K' các mẫu huấn luyện gần nhất với đầu vào mới.

1. Distance Measurement: Hệ thống tính toán khoảng cách giữa điểm truy vấn và mọi điểm khác trong cơ sở dữ liệu. Thường gặp nhất là Euclidean distance, đo khoảng cách đường thẳng giữa các điểm. Các độ đo khác như Manhattan distance (hình học taxi) hoặc Minkowski distance có thể được sử dụng tùy thuộc vào loại dữ liệu.

2. Lựa chọn láng giềng: Sau khi tính toán các khoảng cách, thuật toán sẽ sắp xếp chúng và xác định 'K' mục nhập gần nhất.

3. Decision Making: - For Classification: Thuật toán sử dụng hệ thống "bỏ phiếu đa số". Nhãn lớp xuất hiện thường xuyên nhất trong số K láng giềng được gán cho điểm truy vấn. Phương pháp này được sử dụng rộng rãi trong các tác vụ image classification cơ bản. - For Regression: Dự đoán được tính bằng cách lấy trung bình các giá trị của K láng giềng gần nhất để ước lượng một biến liên tục.

Chọn 'K' phù hợp#

Việc lựa chọn giá trị tối ưu cho 'K' là một bước quan trọng trong hyperparameter tuning. Sự lựa chọn K ảnh hưởng đáng kể đến hiệu suất của model và khả năng tổng quát hóa trên dữ liệu mới.

• Low K Value: Giá trị K nhỏ (ví dụ: K=1) khiến model rất nhạy cảm với nhiễu và các điểm ngoại lai trong dữ liệu, điều này có thể dẫn đến hiện tượng overfitting.
• High K Value: Giá trị K lớn làm mượt các ranh giới quyết định, giảm thiểu ảnh hưởng của nhiễu nhưng có thể làm mờ các mẫu riêng biệt, dẫn đến hiện tượng underfitting.

Các ứng dụng trong thực tế#

Bất chấp sự đơn giản so với deep neural networks, KNN vẫn rất quan trọng trong AI hiện đại, đặc biệt khi kết hợp với các kỹ thuật feature extraction nâng cao.

• Recommendation Systems: KNN hỗ trợ collaborative filtering trong phát streaming phương tiện và thương mại điện tử. Bằng cách xác định người dùng có lịch sử xem hoặc hành vi mua hàng tương tự (láng giềng), các nền tảng có thể gợi ý các sản phẩm mà người dùng có khả năng thích dựa trên sở thích của "nearest neighbors" của họ.
• Anomaly Detection: Trong an ninh mạng và tài chính, KNN được sử dụng cho anomaly detection. Các giao dịch hoặc hoạt động mạng được ánh xạ trong không gian đặc trưng; bất kỳ điểm dữ liệu mới nào nằm xa các cụm dày đặc của hoạt động "bình thường" đều được đánh dấu là gian lận tiềm ẩn hoặc vi phạm bảo mật.
• Visual Search: Các công cụ vector search hiện đại thường dựa vào các thuật toán Approximate Nearest Neighbor (ANN)—một biến thể tối ưu của KNN—để truy xuất nhanh chóng các hình ảnh tương tự dựa trên các embeddings chiều cao được tạo ra bởi các model như YOLO26.

Thách thức và Cân nhắc#

Mặc dù hiệu quả, KNN đối mặt với curse of dimensionality. Khi số lượng đặc trưng (số chiều) tăng lên, các điểm dữ liệu trở nên thưa thớt, và các độ đo khoảng cách mất đi hiệu quả. Ngoài ra, vì lưu trữ toàn bộ training data, KNN có thể tốn bộ nhớ và gặp tình trạng inference latency cao trên các tập dữ liệu lớn. Để giải quyết vấn đề này, các kỹ sư thường tiền xử lý dữ liệu bằng các kỹ thuật dimensionality reduction như Principal Component Analysis (PCA) hoặc sử dụng các cấu trúc dữ liệu chuyên biệt như KD-Trees để tăng tốc độ tìm kiếm. Để mở rộng quy mô cấp doanh nghiệp cho các tập dữ liệu và quá trình training model, việc sử dụng Ultralytics Platform có thể giúp quản lý tài nguyên tính toán cần thiết cho việc tiền xử lý dữ liệu phức tạp.

Phân biệt KNN với K-Means#

Điều quan trọng là phải phân biệt K-Nearest Neighbors với K-Means clustering, vì tên gọi tương tự nhau thường gây nhầm lẫn.

• KNN là một thuật toán học có giám sát (supervised) sử dụng dữ liệu được dán nhãn để đưa ra dự đoán.
• K-Means là một thuật toán unsupervised learning được sử dụng để nhóm dữ liệu chưa có nhãn thành các cụm dựa trên các điểm tương đồng về cấu trúc.

Ví dụ về triển khai#

Đoạn code snippet sau đây minh họa một quy trình phân loại KNN đơn giản sử dụng thư viện Scikit-learn phổ biến. Trong ngữ cảnh computer vision, các "features" đầu vào thường được trích xuất bởi một deep learning model như YOLO26 trước khi được chuyển đến bộ phân loại KNN.

from sklearn.neighbors import KNeighborsClassifier

# Simulated feature vectors (e.g., extracted from YOLO26) and labels
# Features: [Size, Redness], Labels: 0=Apple, 1=Orange
features = [[0.8, 0.9], [0.9, 0.8], [0.2, 0.3], [0.3, 0.2]]
labels = [0, 0, 1, 1]

# Initialize KNN with 3 neighbors
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(features, labels)

# Predict the class of a new object [Size=0.85, Redness=0.85]
prediction = knn.predict([[0.85, 0.85]])
print(f"Predicted Class: {prediction[0]} (0=Apple, 1=Orange)")