#1. KNN

1. KNN 정의

K-Nearest Neighbor(KNN)은 어떤 데이터가 주어지면 그 이웃의 데이터를 살펴본 뒤에 더 많은 데이터가 포함되어 있는 범주로 분류하는 방식

Untitled

2. 유사도 측정 방식 (유클리디안, 코사인)

1) 정의

  1. 유클리디안 거리 (거리기반)

    비슷한 좌표에 있는 점

  2. 코사인 유사도 (각도기반)

    평행을 이루고 방향이 같은 벡터간의 유사도가 높음

    Untitled

2) 계산법

거리: 직선거리 공식이랑 동일

각도: AB/ |A||B|

3) 사용

스케일 차이가 큰 경우: 각도기반 (선호 영화를 추천할 때 사용자마다 평점기준이 다름)

스케일 차이가 크지 않은 경우: 거리기반

※ 객체간의 거리를 측정하게되는 경우 정규화 또는 스케일링 과정을 통해 각 변수들이 거리에 주는 영향이 왜곡되지 않도록 주의해야함

3. KNN 특징

  1. KNN은 지도 학습 알고리즘의 일종

    모델을 학습해 예측하는 것이 아니라 학습 데이터가 있는 가운데 새로운 객체가 주어지면 그 데이터의 특성(X)과 유사한 학습 데이터 객체들을 찾아 정답(Y)를 예측하는 방법을 사용

  2. Lazy Learning

    훈련이 필요가 없는 객체/사례 기반 학습으로 새로운 데이터가 들어올때까지 기다렸다가 작동함

    +모델이 학습하는 형태가 아니기 때문에 학습데이터가 아닌 참조데이터라고 함

  3. 다수결 방식(기본)과 가중합 방식이 있음

    더 가까운 이웃의 정보에 더 가중치를 부여

    +가중치로는 1/d, 1/(1+d), 1/(1+d^2), e^(-d) 등의 방식을 사용