https://velog.io/@stapers/논문-스터디-Week4-5-Attention-is-All-You-Need
layer normalization, batch normalization
LM을 이처럼 batch 단위가 아니라 input을 기준으로 평균과 분산을 계산하게 된다
이유:
mini batch 크기에 영향을 받지 않음
→ input의 scale에 영향을 받지 않아서 안정적인 학습이 가능함
왜 layer normalization 먼저할까
ViT에서 transformer랑 달리 layer normalization을 먼저하는 이유가 따로 있는지?
This reorganization of the layers supports better gradient flow and removes the necessity of a warm-up stage
PE에서 왜 concatenate대신 add를 사용해도 성능에 문제가 없는지