K-Láng giềng gần nhất (KNN)

KNN hoạt động như thế nào

Ý tưởng cốt lõi đằng sau KNN dựa trên sự tương đồng, thường được xác định bằng cách sử dụng các số liệu khoảng cách như khoảng cách Euclidean . Khi dự đoán một điểm dữ liệu mới, chưa thấy, thuật toán sẽ xác định 'K' điểm dữ liệu gần nhất (hàng xóm) với nó từ tập dữ liệu đào tạo được lưu trữ. Giá trị 'K' là một số nguyên do người dùng xác định và biểu thị số lượng hàng xóm được xem xét.

Đối với phân loại, điểm mới được gán cho lớp phổ biến nhất trong số K láng giềng của nó (bỏ phiếu đa số). Đối với hồi quy, dự đoán thường là giá trị trung bình của K láng giềng. Lựa chọn số liệu khoảng cách (ví dụ: Manhattan, Minkowski) và giá trị của 'K' là các siêu tham số quan trọng ảnh hưởng đáng kể đến hiệu suất của mô hình. Việc triển khai hiệu quả thường dựa vào các cấu trúc dữ liệu như cây KD hoặc cây Ball để tăng tốc tìm kiếm láng giềng, đặc biệt là với các tập dữ liệu lớn hơn.

Chọn giá trị của 'K'

Việc lựa chọn 'K' tối ưu là rất quan trọng. Giá trị 'K' nhỏ (ví dụ: K = 1) làm cho mô hình rất nhạy cảm với nhiễu và các giá trị ngoại lai trong dữ liệu, có khả năng dẫn đến quá khớp , trong đó mô hình hoạt động tốt trên dữ liệu đào tạo nhưng kém trên dữ liệu chưa biết. Ngược lại, giá trị 'K' lớn có thể làm mịn quá mức ranh giới quyết định, làm cho mô hình ít nhạy cảm hơn với các mẫu cục bộ và có khả năng dẫn đến quá khớp và chi phí tính toán cao trong quá trình dự đoán. Các kỹ thuật như xác thực chéo (xem Hướng dẫn xác thực chéo Scikit-learn ) thường được sử dụng để tìm 'K' phù hợp cân bằng sự đánh đổi giữa độ lệch và phương sai. Thư viện Scikit-learn cung cấp các công cụ để triển khai KNN và thực hiện tìm kiếm siêu tham số và bạn có thể tìm thấy các mẹo chung trong Hướng dẫn điều chỉnh siêu tham số Ultralytics .

Ứng dụng của KNN

Tính đơn giản của KNN phù hợp với nhiều ứng dụng khác nhau, đặc biệt là khi tính dễ hiểu được coi trọng:

• Hệ thống đề xuất: KNN có thể xác định người dùng có sở thích tương tự dựa trên hành vi trước đây để đề xuất các mục, về nguyên tắc tương tự như các kỹ thuật được các nền tảng như Netflix sử dụng cho hệ thống đề xuất của họ.
• Phân loại hình ảnh cơ bản: Có thể được sử dụng cho các tác vụ phân loại hình ảnh đơn giản, chẳng hạn như nhận dạng chữ số viết tay từ các tập dữ liệu như tập dữ liệu MNIST .
• Phát hiện bất thường: Xác định các điểm dữ liệu bất thường ở xa các điểm lân cận, hữu ích trong các lĩnh vực như bảo mật mạng ( Dự án phát hiện bất thường OWASP ).
• Chăm sóc sức khỏe: Phân loại bệnh nhân dựa trên các đặc điểm để dự đoán kết quả hoặc chẩn đoán tình trạng bệnh, góp phần vào AI trong chăm sóc sức khỏe (xem bộ sưu tập AI trong Sức khỏe và Y học của Nature Medicine ).

Ưu điểm và nhược điểm của KNN

KNN mang lại nhiều lợi ích nhưng cũng có những hạn chế:

Thuận lợi:

• Tính đơn giản và dễ hiểu : Dễ hiểu và giải thích logic dự đoán dựa trên các láng giềng.
• Không có giai đoạn đào tạo rõ ràng : Thích ứng nhanh với dữ liệu mới vì không cần đào tạo lại mô hình, chỉ cần thêm điểm dữ liệu.
• Tính linh hoạt : Xử lý phân loại đa lớp một cách tự nhiên và có thể được điều chỉnh để hồi quy.

Nhược điểm:

• Chi phí tính toán khi suy luận : Dự đoán có thể chậm đối với các tập dữ liệu lớn vì cần phải tính toán khoảng cách đến tất cả các điểm đào tạo.
• Độ nhạy với các tính năng không liên quan : Các tính năng không góp phần tạo nên sự tương đồng có thể ảnh hưởng tiêu cực đến hiệu suất.
• Lời nguyền của tính đa chiều : Hiệu suất giảm trong không gian đa chiều khi khoảng cách trở nên ít ý nghĩa hơn. Các kỹ thuật như giảm tính đa chiều (ví dụ: PCA ) có thể giúp giảm thiểu điều này.
• Nhu cầu về khả năng mở rộng tính năng : Các tính năng có phạm vi lớn hơn có thể chiếm ưu thế trong tính toán khoảng cách, đòi hỏi phải mở rộng tính năng .
• Yêu cầu lựa chọn 'K' tối ưu : Hiệu suất phụ thuộc rất nhiều vào việc lựa chọn giá trị K phù hợp.

KNN so với các khái niệm liên quan

Điều quan trọng là phải phân biệt KNN với các thuật toán khác:

• Phân cụm K-Means : K-Means là thuật toán học không giám sát được sử dụng để nhóm dữ liệu thành K cụm dựa trên sự tương đồng. KNN là thuật toán học có giám sát được sử dụng để phân loại hoặc hồi quy dựa trên các lân cận được gắn nhãn.
• Support Vector Machine (SVM) : SVM là một thuật toán có giám sát tìm ra một siêu phẳng tối ưu để phân tách các lớp. KNN phân loại dựa trên sự giống nhau của các lân cận cục bộ, trong khi SVM tìm kiếm một ranh giới tối ưu toàn cục. Tìm hiểu thêm tại trang Scikit-learn SVM .
• Cây quyết định : Cây quyết định phân loại dữ liệu bằng cách học một tập hợp các quy tắc phân cấp, tạo ra một cấu trúc giống như cây. KNN sử dụng tính tương đồng dựa trên khoảng cách, trong khi Cây quyết định sử dụng các phân chia dựa trên tính năng. Xem trang Cây quyết định Scikit-learn để biết chi tiết.

Trong khi KNN có giá trị đối với một số tác vụ nhất định và hiểu các khái niệm ML cơ bản, các vấn đề phức tạp như phát hiện đối tượng theo thời gian thực thường được hưởng lợi từ các mô hình tiên tiến hơn như Ultralytics YOLO , cung cấp tốc độ và hiệu suất vượt trội, đặc biệt là trên các tập dữ liệu thị giác máy tính quy mô lớn. Bạn có thể đào tạo và triển khai các mô hình như vậy bằng các nền tảng như Ultralytics HUB .