An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
Transformer를 영상처리분야에 적용한 Vision Transformer(ViT)의 재현을 목표로 함
자연어처리에서 Transformer는 문장을 token 단위로 쪼개어 사용했다면,
ViT에서는 일반적으로 사용하는 token의 형태가 단어, 형태소 등이 아닌 영상으로 이루어졌다고 생각하면 됨

이미지를 token 형태로 만들어야 함
위의 그림과 같이 이미지를 여러개의 patch로 잘라 각 patch 별로 embedding을 구함
→ Conv2d를 사용해서 구할 수 있음 (PatchEmbedding class 참고)
플러스 class를 예측하기 위한 token을 추가함
위의 이이미지의 0번 token에 해당함 (ViT class의 cls_token attribute)
플러스 position embedding
→ 각 patch의 위치 정보를 표현하기 위해서 사용 (가까운 거리에 있는 패치는 비슷한 위치 임베딩)
→ 기존의 Transformer와 달리 sinusoidal 함수를 사용하지 않고 파라미터를 학습
Self-attention 과정은 scaled-dot product attention 기반의 multi-head attention을 사용
→ Transformer와 달리 모든 input을 사용하기 때문에 Mask는 없음
Position-wise feed forward network도 같은 방법으로 사용
최종 예측에는 cls_token 위치에 해당하는 output에 추가적인 multi-head perceptron (MLP Head)를 사용함 → classification head

→ 기존 transformer와 차이점 normalization을 먼저하고 MHA를 거침
