1. KNN 정의

K-Nearest Neighbor(KNN)은 어떤 데이터가 주어지면 그 이웃의 데이터를 살펴본 뒤에 더 많은 데이터가 포함되어 있는 범주로 분류하는 방식

Untitled

주변에 파란 원과 주황 네모가 동시에 존재하는 물음표의 경우 어떤 것을 우선 순위로 두어 예측할 것인가?

2. 유사도 측정 방식 (유클리디안, 코사인)

1) 정의

  1. 유클리디안 거리 (거리기반)

    비슷한 좌표에 있는 점

  2. 코사인 유사도 (각도기반)

    평행을 이루고 방향이 같은 벡터간의 유사도가 높음

    Untitled

2) 계산법

Untitled

거리: 직선거리 공식이랑 동일

각도: AB/ |A||B|

Untitled

3) 사용

스케일 차이가 큰 경우: 각도기반 (선호 영화를 추천할 때 사용자마다 평점기준이 다름)

스케일 차이가 크지 않은 경우: 거리기반

※ 객체간의 거리를 측정하게되는 경우 정규화 또는 스케일링 과정을 통해 각 변수들이 거리에 주는 영향이 왜곡되지 않도록 주의해야함

3. KNN 특징

  1. KNN은 지도 학습 알고리즘의 일종

    모델을 학습해 예측하는 것이 아니라 학습 데이터가 있는 가운데 새로운 객체가 주어지면 그 데이터의 특성(X)과 유사한 학습 데이터 객체들을 찾아 정답(Y)를 예측하는 방법을 사용

  2. Lazy Learning

    훈련이 필요가 없는 객체/사례 기반 학습으로 새로운 데이터가 들어올때까지 기다렸다가 작동함

    +모델이 학습하는 형태가 아니기 때문에 학습데이터가 아닌 참조데이터라고 함

  3. 다수결 방식(기본)과 가중합 방식이 있음

    더 가까운 이웃의 정보에 더 가중치를 부여

    +가중치로는 1/d, 1/(1+d), 1/(1+d^2), e^(-d) 등의 방식을 사용

Untitled

3. K (하이퍼파라미터) 결정 방법

하이퍼 파라미터(Hyper-parameter)는 어떠한 임의의 모델을 학습시킬때 컴퓨터가 아닌 사람이 직접 튜닝(tuning)하는 변수

Untitled

Untitled

4. 코드 공부