K-Nearest Neighbors (KNN)

K-Nearest Neighbors (KNN)은 supervised learning 분야에서 분류(classification)와 회귀(regression) 작업 모두에 사용되는 강력하고 직관적인 알고리즘입니다. 단순함이 특징인 KNN은 훈련 단계에서 모델을 구축하거나 매개변수를 학습하지 않기 때문에 종종 "게으른 학습자(lazy learner)"로 분류됩니다. 대신 전체 training data 세트를 기억하고 예측이 요청될 때만 계산을 수행합니다. 이 알고리즘의 핵심 원리는 특성 유사성(feature similarity)에 의존합니다. 즉, 유사한 속성을 가진 데이터 포인트가 다차원 특성 공간 내에서 서로 가까운 거리에 존재한다고 가정합니다.

알고리즘 작동 방식#

K-Nearest Neighbors의 메커니즘은 거리 계산에 의해 구동됩니다. 새로운 쿼리 포인트가 도입되면 알고리즘은 저장된 데이터 세트를 검색하여 새로운 입력값과 가장 가까운 'K'개의 학습 샘플을 찾습니다.

1. 거리 측정: 시스템은 쿼리 포인트와 데이터베이스의 다른 모든 포인트 사이의 거리를 계산합니다. 가장 일반적인 측정 항목은 포인트 간의 직선 거리를 측정하는 Euclidean distance입니다. 데이터 유형에 따라 Manhattan distance (택시 기하학) 또는 Minkowski distance와 같은 다른 측정 항목을 사용할 수 있습니다.

2. 이웃 선택: 거리 계산 후 알고리즘은 이를 정렬하고 상위 'K'개의 가장 가까운 항목을 식별합니다.

3. 의사결정: - 분류의 경우: 이 알고리즘은 "다수결 투표(majority voting)" 시스템을 사용합니다. K개의 이웃 중에서 가장 빈도가 높게 나타나는 클래스 레이블이 쿼리 포인트에 할당됩니다. 이는 기본적인 image classification 작업에서 널리 사용됩니다. - 회귀의 경우: 연속형 변수를 추정하기 위해 K개의 가장 가까운 이웃의 값들을 평균내어 예측을 계산합니다.

적절한 'K' 선택#

'K'의 최적 값을 선택하는 것은 hyperparameter tuning에서 매우 중요한 단계입니다. K의 선택은 모델의 성능과 새로운 데이터에 대한 일반화 능력에 큰 영향을 미칩니다.

• 낮은 K 값: 작은 K(예: K=1)는 모델이 데이터의 노이즈와 이상치에 매우 민감하게 반응하게 만들어 overfitting으로 이어질 수 있습니다.
• 높은 K 값: 큰 K는 결정 경계를 부드럽게 만들어 노이즈의 영향을 줄이지만, 뚜렷한 패턴을 모호하게 만들어 underfitting을 초래할 수 있습니다.

실제 애플리케이션 사례#

심층 신경망에 비해 단순함에도 불구하고, KNN은 특히 고급 feature extraction 기법과 결합될 때 현대 AI에서 여전히 매우 유효합니다.

• 추천 시스템: KNN은 미디어 스트리밍 및 전자상거래에서 collaborative filtering을 용이하게 합니다. 유사한 시청 기록이나 구매 행동을 가진 사용자(이웃)를 식별함으로써, 플랫폼은 "가장 가까운 이웃"의 선호도를 바탕으로 사용자가 좋아할 만한 제품을 제안할 수 있습니다.
• 이상 감지: 사이버 보안 및 금융에서 KNN은 anomaly detection에 사용됩니다. 거래나 네트워크 활동이 특성 공간에 매핑되며, "정상" 활동의 조밀한 군집에서 멀리 떨어진 새로운 데이터 포인트는 잠재적인 사기 또는 보안 침해로 표시됩니다.
• 시각적 검색: 현대의 vector search 엔진은 YOLO26과 같은 모델에 의해 생성된 고차원 embeddings을 기반으로 유사한 이미지를 빠르게 검색하기 위해, KNN의 최적화된 변형인 근사 인접 이웃(ANN, Approximate Nearest Neighbor) 알고리즘에 종종 의존합니다.

과제 및 고려 사항#

효과적이지만, KNN은 curse of dimensionality에 직면합니다. 특성(차원)의 수가 증가함에 따라 데이터 포인트가 희소해지고 거리 측정의 효과가 떨어집니다. 또한 모든 훈련 데이터를 저장하기 때문에 KNN은 메모리 집약적일 수 있으며 대규모 데이터셋에서 높은 inference latency로 인해 고통받을 수 있습니다. 이를 해결하기 위해 실무자들은 Principal Component Analysis (PCA)와 같은 dimensionality reduction 기법을 사용하여 데이터를 전처리하거나 KD-Trees와 같은 특수 데이터 구조를 사용하여 검색 속도를 높입니다. 데이터셋 및 모델 훈련의 엔터프라이즈급 확장을 위해 Ultralytics Platform을 활용하면 복잡한 데이터를 전처리하는 데 필요한 컴퓨팅 리소스를 관리하는 데 도움이 될 수 있습니다.

KNN과 K-Means 구분#

유사한 이름으로 인해 혼동을 자주 일으키므로, K-Nearest Neighbors를 K-Means clustering과 구별하는 것이 중요합니다.

• KNN은 예측을 위해 레이블이 지정된 데이터를 사용하는 지도(supervised) 학습 알고리즘입니다.
• K-Means는 구조적 유사성을 바탕으로 라벨이 없는 데이터를 클러스터로 그룹화하는 데 사용되는 unsupervised learning 알고리즘입니다.

구현 예시#

다음 코드 조각은 널리 사용되는 Scikit-learn 라이브러리를 사용한 간단한 KNN 분류 워크플로를 보여줍니다. 컴퓨터 비전 컨텍스트에서 입력 "특성(features)"은 일반적으로 KNN 분류기로 전달되기 전에 YOLO26과 같은 딥러닝 모델에 의해 추출됩니다.

from sklearn.neighbors import KNeighborsClassifier

# Simulated feature vectors (e.g., extracted from YOLO26) and labels
# Features: [Size, Redness], Labels: 0=Apple, 1=Orange
features = [[0.8, 0.9], [0.9, 0.8], [0.2, 0.3], [0.3, 0.2]]
labels = [0, 0, 1, 1]

# Initialize KNN with 3 neighbors
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(features, labels)

# Predict the class of a new object [Size=0.85, Redness=0.85]
prediction = knn.predict([[0.85, 0.85]])
print(f"Predicted Class: {prediction[0]} (0=Apple, 1=Orange)")