• Mixture 모델이 왜 필요한가?

    실제 세상의 데이터는 마냥 확률밀도함수처럼 예쁘게 분포되어있지 않음

    → 특정한 분포를 가짐

    ex) 초등학교 앞에서 키를 측정하면, 초등학생 확률밀도함수 + 어른 확률 밀도함수

    multivariate normal pdf → fitting 하려면?

    mixing coefficient가 필요함

    Untitled

    Untitled

    → γ(znk)를 구하는 것: n번째 데이터가 k번째 군집에 속해있을 확률

    → Expectation 과정

    나머지 과정: Maximization 과정

    • μk,σ2k: 혼합모델을 구성하는 확률변수 각각의 평균과 분산
    • πk: 개별 확률 변수에 대한 혼합계수

    클러스터링을 단순히 비슷한 것들끼리 모으는 것이라고 생각하기보다, (교수님의 예제를 빌려) 100명의 사람들의 키 데이터를 어른, 아이 즉 2개의 cluster 정보로 압축시키는 것!

    즉 키 데이터 100개에서 2개의 latent variable 로 dimensionality reduction을 한다고 관점을 바꾸어 생각하기

    나중에 기업정보에 관한 텍스트 데이터에 있는 무수히 많은 단어들을, 특정 topic으로 "embedding"하기 위해 지금 클러스터링을 공부하고 있음