K-Nearest Neighbors (KNN)

K-최근접 이웃 (KNN)은 분류 및 회귀 작업 모두에 사용되는 지도 학습 분야의 견고하고 직관적인 알고리즘입니다. KNN은 단순하다는 특징 때문에 학습 단계에서 모델을 구축하거나 매개변수를 학습하지 않으므로 흔히 "게으른 학습기"로 분류됩니다. 대신 전체 학습 데이터 세트를 기억하고 예측 요청이 있을 때만 계산을 수행합니다. 이 알고리즘의 핵심 원리는 특징 유사성에 기반합니다. 즉, 유사한 속성을 가진 데이터 포인트는 다차원 특징 공간에서 서로 가까운 위치에 존재한다고 가정합니다.

알고리즘 작동 방식#

K-최근접 이웃의 작동 방식은 거리 계산에 기반합니다. 새로운 쿼리 포인트가 입력되면 알고리즘은 저장된 데이터세트를 검색하여 새로운 입력에 가장 가까운 'K'개의 학습 샘플을 찾습니다.

1. 거리 측정: 시스템은 쿼리 포인트와 데이터베이스의 다른 모든 포인트 사이의 거리를 계산합니다. 가장 일반적인 지표는 포인트 간 직선 거리를 측정하는 유클리드 거리입니다. 데이터 유형에 따라 맨해튼 거리(택시 기하학) 또는 민코프스키 거리와 같은 다른 지표를 사용할 수 있습니다.

2. 이웃 선택: 거리를 계산한 후 알고리즘은 거리를 정렬하고 가장 가까운 상위 'K'개의 항목을 식별합니다.

3. 의사 결정: - 분류의 경우: 알고리즘은 "다수결" 시스템을 사용합니다. K개의 이웃 중 가장 자주 나타나는 클래스 레이블이 쿼리 포인트에 할당됩니다. 이는 기본적인 이미지 분류 작업에 널리 사용됩니다. - 회귀의 경우: 연속형 변수를 추정하기 위해 K개의 최근접 이웃 값의 평균을 계산하여 예측합니다.

적절한 'K' 선택#

'K'의 최적값을 선택하는 것은 하이퍼파라미터 튜닝의 중요한 단계입니다. K의 선택은 모델의 성능과 새로운 데이터에 일반화하는 능력에 큰 영향을 미칩니다.

• 낮은 K 값: 작은 K(예: K=1)는 모델이 데이터의 노이즈와 이상치에 매우 민감하게 만들어 과적합을 초래할 수 있습니다.
• 높은 K 값: 큰 K는 결정 경계를 평활화하여 노이즈의 영향을 줄이지만, 서로 다른 패턴을 흐리게 만들어 과소적합을 초래할 수 있습니다.

실제 적용 사례#

심층 신경망에 비해 단순하지만 KNN은 특히 고급 특징 추출 기법과 결합할 때 현대 AI에서 여전히 높은 활용 가치를 지닙니다.

• 추천 시스템: KNN은 미디어 스트리밍 및 전자상거래에서 협업 필터링을 지원합니다. 플랫폼은 시청 기록이나 구매 행동이 유사한 사용자(이웃)를 식별하여 "최근접 이웃"의 선호도를 기반으로 사용자가 좋아할 가능성이 높은 제품을 추천할 수 있습니다.
• 이상 탐지: 사이버 보안 및 금융 분야에서 KNN은 이상 탐지에 사용됩니다. 거래 또는 네트워크 활동은 특징 공간에 매핑되며, "정상" 활동의 조밀한 클러스터에서 멀리 떨어진 새로운 데이터 포인트는 잠재적인 사기 또는 보안 침해로 표시됩니다.
• 시각적 검색: 최신 벡터 검색 엔진은 고차원 임베딩을 기반으로 유사한 이미지를 빠르게 검색하기 위해 KNN을 최적화한 변형인 근사 최근접 이웃 (ANN) 알고리즘을 사용하는 경우가 많습니다. 이러한 임베딩은 YOLO26과 같은 모델이 생성합니다.

과제 및 고려 사항#

효과적인 KNN에도 차원의 저주라는 문제가 있습니다. 특징 수(차원)가 증가하면 데이터 포인트가 희소해지고 거리 지표의 효과가 떨어집니다. 또한 모든 학습 데이터를 저장하므로 KNN은 메모리를 많이 사용할 수 있으며 대규모 데이터세트에서 높은 추론 지연 시간을 겪을 수 있습니다. 이를 해결하기 위해 실무자는 주성분 분석 (PCA)과 같은 차원 축소 기법을 사용하여 데이터를 사전 처리하거나, 검색 속도를 높이는 KD-트리와 같은 특수 데이터 구조를 사용합니다. 데이터세트와 모델 학습을 엔터프라이즈급으로 확장하려면 Ultralytics Platform을 활용하여 복잡한 데이터의 사전 처리에 필요한 컴퓨팅 리소스를 관리할 수 있습니다.

KNN과 K-Means의 차이#

이름이 비슷하여 혼동하기 쉬우므로 K-최근접 이웃과 K-Means 클러스터링을 구분하는 것이 중요합니다.

• KNN은 레이블이 지정된 데이터를 사용하여 예측을 수행하는 지도 학습 알고리즘입니다.
• K-Means는 구조적 유사성을 기반으로 레이블이 지정되지 않은 데이터를 클러스터로 그룹화하는 비지도 학습 알고리즘입니다.

구현 예시#

다음 코드 스니펫은 널리 사용되는 Scikit-learn 라이브러리를 사용한 간단한 KNN 분류 워크플로를 보여줍니다. 컴퓨터 비전 맥락에서 입력 "특징"은 일반적으로 KNN 분류기에 전달되기 전에 YOLO26과 같은 딥러닝 모델이 추출합니다.

from sklearn.neighbors import KNeighborsClassifier

# Simulated feature vectors (e.g., extracted from YOLO26) and labels
# Features: [Size, Redness], Labels: 0=Apple, 1=Orange
features = [[0.8, 0.9], [0.9, 0.8], [0.2, 0.3], [0.3, 0.2]]
labels = [0, 0, 1, 1]

# Initialize KNN with 3 neighbors
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(features, labels)

# Predict the class of a new object [Size=0.85, Redness=0.85]
prediction = knn.predict([[0.85, 0.85]])
print(f"Predicted Class: {prediction[0]} (0=Apple, 1=Orange)")