K means 와 KNN의 차이점
K means
군집찾기
→ 색을 모름
- r이 정해진채로 최적의 뮤를 정하고, 뮤가 정해지면 다시 최적의 r을 할당
- 중심의 위치인 뮤케이와 데이터의 할당정보인 r_nk를 상호적으로 변화시키면서 J의 값을 반복적으로 줄여나가는 반복 최적화 알고리즘
- centroid → decision variable (결정 변수) 찾기 (뮤 케이)
- 가까이 있는 centroid에 assign ( r nk = {0, 1})
→ 최적화하여 minimize J :

- 단점
- 군집의 개수인 K 값으로 무엇이 적절한지?
- centroid의 초기 위치
- 강한 군집화: 반드시 하나의 군집에 할당 (가우시안 해결)
- 원형으로 모여있지 않은 경우 유클리디안 거리말고 다른 기준 (가우시안 해결)
- 장점
- 지역 최적해를 빠르게 찾을 수 있다
- 구현하기 간편하다
KNN
데이터로부터 가장 가까운 데이터에서 가장 많은 수의 데이터가 가진 특성으로 새로운 데이터의 특성으로 정하는 알고리즘
→ 주위의 색을 이미 알고 있음
→ 지도학습
Expectation and Maximization
-
Expectation ( r_nk 최적화)
- 주어진 파라미터에서 log likelihood의 기댓값
- 가장 가까운 centroid에서 datapoint를 지정
-
Maximization (centroid 뮤케이 최적화)
u_k = summation r_nk* x_n / summation r_nk (1인것만의 갯수)