LDA란 무엇인가?
encoder → mean, variance
VAE란 무엇인가?
z should be continuous
reparameterization → z (for back propagation)
z→ decoder →output
backpropagate → mean과 variance에 대해서
VAE를 왜 쓰는가?
posterior inference
enable for generating sample x
efficient approximate learning for parameter theta
- Generative Model을 통해 적은 data를 가지고 원래 data가 가지는 분포를 꽤 가깝게 근사하고 이를 통해 새로운 data를 생성해낼 수 있다는 점.
- Latent variable의 분포를 가정해 우리가 sampling 할 값들의 분포를 control 할 수 있게 되고, manifold도 잘 학습이 된다는점.
- 이는 data의 특징들도 잘 알 수 있고, 그 특징들의 분포들은 크게 벗어나지 않게 control 하면서 그 속에서 새로운 값을 만들 수 있다는 점.
- 위 결과는 우리가 명시적으로 어떠한 잠재 특성을 사전에 정의하지 않고도 데이터에 내제된 잠재적인 특성인 '숫자가 기울어진 정도, 숫자의 두께', '얼굴의 각도, 웃는 정도'를 자동으로 학습시킬 수 있다는 점을 시사한다.
VAE와 topic modeling의 관련성
VAE와 VI의 관련성
latent variable z가 있을때 사후분포를 모델링해서 학습시키고 싶은데, z를 직접 관측하는 것이 불가능
→이를 해결하기 위해 잠재변수 z가 어떤 분포를 가지고 있다고 가정하고,