K-Nearest Neighbors (KNN)

K-Nearest Neighbors (KNN)은 supervised learning 분야에서 분류 및 회귀 작업 모두에 사용되는 강력하고 직관적인 알고리즘입니다. 단순함이 특징인 KNN은 학습 단계에서 모델을 구축하거나 매개변수를 학습하지 않기 때문에 흔히 "게으른 학습자(lazy learner)"로 분류됩니다. 대신 전체 training data 세트를 기억하고 예측이 요청될 때만 계산을 수행합니다. 이 알고리즘의 핵심 원리는 특징 유사성에 의존하며, 유사한 속성을 가진 데이터 포인트가 다차원 특징 공간 내에서 서로 가까운 곳에 존재한다고 가정합니다.

Link to this section알고리즘 작동 방식#

K-Nearest Neighbors의 메커니즘은 거리 계산에 의해 구동됩니다. 새로운 쿼리 포인트가 도입되면 알고리즘은 저장된 데이터 세트를 검색하여 새로운 입력값과 가장 가까운 'K'개의 학습 샘플을 찾습니다.

1. 거리 측정: 시스템은 쿼리 포인트와 데이터베이스의 다른 모든 포인트 사이의 거리를 계산합니다. 가장 일반적인 측정 항목은 포인트 간의 직선 거리를 측정하는 Euclidean distance입니다. 데이터 유형에 따라 Manhattan distance (Taxicab 기하학) 또는 Minkowski distance와 같은 다른 측정 항목이 사용될 수 있습니다.

2. 이웃 선택: 거리 계산 후 알고리즘은 이를 정렬하고 상위 'K'개의 가장 가까운 항목을 식별합니다.

3. 의사 결정: - 분류의 경우: 알고리즘은 "다수결 투표(majority voting)" 시스템을 사용합니다. K개의 이웃 중에서 가장 빈번하게 나타나는 클래스 레이블이 쿼리 포인트에 할당됩니다. 이는 기본적인 image classification 작업에서 널리 사용됩니다. - 회귀의 경우: 예측값은 K개의 가장 가까운 이웃의 값을 평균화하여 연속 변수를 추정함으로써 계산됩니다.

Link to this section적절한 'K' 선택#

최적의 'K' 값을 선택하는 것은 hyperparameter tuning에서 중요한 단계입니다. K의 선택은 모델의 성능과 새로운 데이터에 대한 일반화 능력에 상당한 영향을 미칩니다.

• 낮은 K 값: 작은 K(예: K=1)는 모델이 데이터의 노이즈와 이상치에 매우 민감하게 반응하도록 만들어 overfitting으로 이어질 수 있습니다.
• 높은 K 값: 큰 K는 결정 경계를 매끄럽게 하여 노이즈의 영향을 줄이지만, 독특한 패턴을 흐리게 하여 underfitting을 유발할 수 있습니다.

Link to this section실제 애플리케이션 사례#

심층 신경망에 비해 단순함에도 불구하고 KNN은 현대 AI, 특히 고급 feature extraction 기술과 결합할 때 여전히 매우 관련성이 높습니다.

• 추천 시스템: KNN은 미디어 스트리밍 및 전자상거래 분야에서 collaborative filtering을 용이하게 합니다. 유사한 시청 이력이나 구매 행동을 가진 사용자(이웃)를 식별함으로써 플랫폼은 "최근접 이웃"의 선호도를 바탕으로 사용자가 좋아할 만한 제품을 제안할 수 있습니다.
• 이상 탐지: 사이버 보안 및 금융 분야에서 KNN은 anomaly detection에 사용됩니다. 거래나 네트워크 활동은 특징 공간에 매핑되며, "정상적인" 활동의 밀집된 클러스터에서 멀리 떨어진 새로운 데이터 포인트는 잠재적인 사기나 보안 침해로 플래그가 지정됩니다.
• Visual Search: Modern vector search engines often rely on Approximate Nearest Neighbor (ANN) algorithms—an optimized variation of KNN—to rapidly retrieve similar images based on high-dimensional embeddings generated by models like YOLO26.

Link to this section과제 및 고려 사항#

While effective, KNN faces the curse of dimensionality. As the number of features (dimensions) increases, data points become sparse, and distance metrics lose their effectiveness. Additionally, because it stores all training data, KNN can be memory-intensive and suffer from high inference latency on large datasets. To address this, practitioners often preprocess data using dimensionality reduction techniques like Principal Component Analysis (PCA) or use specialized data structures like KD-Trees to speed up the search. For enterprise-grade scaling of datasets and model training, utilizing the Ultralytics Platform can help manage the compute resources required for preprocessing complex data.

Link to this sectionKNN과 K-Means 구분#

KNN과 K-Means clustering은 이름이 비슷하여 혼동을 일으키는 경우가 많으므로 두 알고리즘을 구분하는 것이 중요합니다.

• KNN은 예측을 위해 레이블이 지정된 데이터를 사용하는 지도(supervised) 학습 알고리즘입니다.
• K-Means는 구조적 유사성을 기반으로 레이블이 지정되지 않은 데이터를 그룹화하는 데 사용되는 unsupervised learning 알고리즘입니다.

Link to this section구현 예시#

다음 코드 조각은 널리 사용되는 Scikit-learn 라이브러리를 사용한 간단한 KNN 분류 워크플로우를 보여줍니다. 컴퓨터 비전 맥락에서 입력 "특징"은 일반적으로 KNN 분류기에 전달되기 전에 YOLO26과 같은 딥러닝 모델에 의해 추출됩니다.

from sklearn.neighbors import KNeighborsClassifier

# Simulated feature vectors (e.g., extracted from YOLO26) and labels
# Features: [Size, Redness], Labels: 0=Apple, 1=Orange
features = [[0.8, 0.9], [0.9, 0.8], [0.2, 0.3], [0.3, 0.2]]
labels = [0, 0, 1, 1]

# Initialize KNN with 3 neighbors
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(features, labels)

# Predict the class of a new object [Size=0.85, Redness=0.85]
prediction = knn.predict([[0.85, 0.85]])
print(f"Predicted Class: {prediction[0]} (0=Apple, 1=Orange)")