K means 와 KNN의 차이점

K means

군집찾기

→ 색을 모름

  1. centroid → decision variable (결정 변수) 찾기 (뮤 케이)
  2. 가까이 있는 centroid에 assign ( r nk = {0, 1})

→ 최적화하여 minimize J :

Untitled

KNN

데이터로부터 가장 가까운 데이터에서 가장 많은 수의 데이터가 가진 특성으로 새로운 데이터의 특성으로 정하는 알고리즘

→ 주위의 색을 이미 알고 있음

→ 지도학습

Expectation and Maximization

  1. Expectation ( r_nk 최적화)

    1. 주어진 파라미터에서 log likelihood의 기댓값
    2. 가장 가까운 centroid에서 datapoint를 지정
  2. Maximization (centroid 뮤케이 최적화)

    u_k = summation r_nk* x_n / summation r_nk (1인것만의 갯수)