AE, AR 모델

https://ebbnflow.tistory.com/249

AE(BERT)는 양방향 모델이지만, 사실 양방향 모델이 아닙니다. 이유는

"마스킹 처리한 토큰들 사이"의 문맥과 의존관계를 따지지 않기 때문입니다.

Transformer masking

https://cpm0722.github.io/pytorch-implementation/transformer