transformer 구조에서 encoder 부분만 사용함
→ decoder를 사용하지 않고 두가지의 방법으로 encoder를 학습시킴

Token, Segment, Position Embedding 총 3가지의 임베딩 방법으로 문장을 표현
Token Embedding
두가지의 특수 토큰 (CLP, SEP)을 사용해서 문장 구별
Special Classification token (CLS) → for classification task
Special Separator token (SEP) → for sentence seperate
Segment Embedding → 앞 뒤 문장을 더욱 쉽게 구별
Position Embedding → 각 토큰의 위치를 알려주는 임베딩
문장에서 단어 중의 일부를 [Mask] 토큰으로 바꾼 뒤, 가려진 단어를 예측하도록 학습
이 과정에서 BERT는 문맥을 파악하는 능력을 기름
추가적으로 더욱 다양한 표현을 학습할 수 있도록
80%는 [Mask] 토큰으로 바꾸어 학습하지만,
나머지 10%는 token을 random word로 바꾸고,
마지막 10%는 원본 word 그대로를 사용하게 됩니다
문장 사이의 관계를 포착