https://velog.io/@stapers/논문-스터디-Week4-5-Attention-is-All-You-Need

layer normalization, batch normalization

LM을 이처럼 batch 단위가 아니라 input을 기준으로 평균과 분산을 계산하게 된다

이유:

  1. mini batch 크기에 영향을 받지 않음

    → input의 scale에 영향을 받지 않아서 안정적인 학습이 가능함

왜 layer normalization 먼저할까

ViT에서 transformer랑 달리 layer normalization을 먼저하는 이유가 따로 있는지?

This reorganization of the layers supports better gradient flow and removes the necessity of a warm-up stage

https://uvadlc-notebooks.readthedocs.io/en/latest/tutorial_notebooks/tutorial15/Vision_Transformer.html

PE에서 왜 concatenate대신 add를 사용해도 성능에 문제가 없는지