K-Nearest Neighbor(KNN)은 어떤 데이터가 주어지면 그 이웃의 데이터를 살펴본 뒤에 더 많은 데이터가 포함되어 있는 범주로 분류하는 방식

유클리디안 거리 (거리기반)
비슷한 좌표에 있는 점
코사인 유사도 (각도기반)
평행을 이루고 방향이 같은 벡터간의 유사도가 높음

거리: 직선거리 공식이랑 동일
각도: AB/ |A||B|
스케일 차이가 큰 경우: 각도기반 (선호 영화를 추천할 때 사용자마다 평점기준이 다름)
스케일 차이가 크지 않은 경우: 거리기반
※ 객체간의 거리를 측정하게되는 경우 정규화 또는 스케일링 과정을 통해 각 변수들이 거리에 주는 영향이 왜곡되지 않도록 주의해야함
KNN은 지도 학습 알고리즘의 일종
모델을 학습해 예측하는 것이 아니라 학습 데이터가 있는 가운데 새로운 객체가 주어지면 그 데이터의 특성(X)과 유사한 학습 데이터 객체들을 찾아 정답(Y)를 예측하는 방법을 사용
Lazy Learning
훈련이 필요가 없는 객체/사례 기반 학습으로 새로운 데이터가 들어올때까지 기다렸다가 작동함
+모델이 학습하는 형태가 아니기 때문에 학습데이터가 아닌 참조데이터라고 함
다수결 방식(기본)과 가중합 방식이 있음
더 가까운 이웃의 정보에 더 가중치를 부여
+가중치로는 1/d, 1/(1+d), 1/(1+d^2), e^(-d) 등의 방식을 사용