transformer 구조에서 encoder 부분만 사용함

→ decoder를 사용하지 않고 두가지의 방법으로 encoder를 학습시킴

Input representation

Untitled

Token, Segment, Position Embedding 총 3가지의 임베딩 방법으로 문장을 표현

  1. Token Embedding

    두가지의 특수 토큰 (CLP, SEP)을 사용해서 문장 구별

    Special Classification token (CLS) → for classification task

    Special Separator token (SEP) → for sentence seperate

  2. Segment Embedding → 앞 뒤 문장을 더욱 쉽게 구별

  3. Position Embedding → 각 토큰의 위치를 알려주는 임베딩

Pretraining 방법

1. Masked Language Model

문장에서 단어 중의 일부를 [Mask] 토큰으로 바꾼 뒤, 가려진 단어를 예측하도록 학습

이 과정에서 BERT는 문맥을 파악하는 능력을 기름

추가적으로 더욱 다양한 표현을 학습할 수 있도록

80%는 [Mask] 토큰으로 바꾸어 학습하지만,

나머지 10%는 token을 random word로 바꾸고,

마지막 10%는 원본 word 그대로를 사용하게 됩니다

2. Next Sentence Prediction (NSP)

문장 사이의 관계를 포착