K-Nearest Neighbor(KNN)은 어떤 데이터가 주어지면 그 이웃의 데이터를 살펴본 뒤에 더 많은 데이터가 포함되어 있는 범주로 분류하는 방식

주변에 파란 원과 주황 네모가 동시에 존재하는 물음표의 경우 어떤 것을 우선 순위로 두어 예측할 것인가?
유클리디안 거리 (거리기반)
비슷한 좌표에 있는 점
코사인 유사도 (각도기반)
평행을 이루고 방향이 같은 벡터간의 유사도가 높음


거리: 직선거리 공식이랑 동일
각도: AB/ |A||B|

스케일 차이가 큰 경우: 각도기반 (선호 영화를 추천할 때 사용자마다 평점기준이 다름)
스케일 차이가 크지 않은 경우: 거리기반
※ 객체간의 거리를 측정하게되는 경우 정규화 또는 스케일링 과정을 통해 각 변수들이 거리에 주는 영향이 왜곡되지 않도록 주의해야함
KNN은 지도 학습 알고리즘의 일종
모델을 학습해 예측하는 것이 아니라 학습 데이터가 있는 가운데 새로운 객체가 주어지면 그 데이터의 특성(X)과 유사한 학습 데이터 객체들을 찾아 정답(Y)를 예측하는 방법을 사용
Lazy Learning
훈련이 필요가 없는 객체/사례 기반 학습으로 새로운 데이터가 들어올때까지 기다렸다가 작동함
+모델이 학습하는 형태가 아니기 때문에 학습데이터가 아닌 참조데이터라고 함
다수결 방식(기본)과 가중합 방식이 있음
더 가까운 이웃의 정보에 더 가중치를 부여
+가중치로는 1/d, 1/(1+d), 1/(1+d^2), e^(-d) 등의 방식을 사용

하이퍼 파라미터(Hyper-parameter)는 어떠한 임의의 모델을 학습시킬때 컴퓨터가 아닌 사람이 직접 튜닝(tuning)하는 변수

K값이 너무 작게 설정되는 경우
분류 경계면이 노이즈(noise)에 민감하게 반응해 과적합(over-fitting)
K값이 너무 크게 설정되는 경우
지역적 구조(local structure)를 민감하게 파악하는 능력을 잃어 부적합(under-fitting)
