Word2Vec

같이 등장하는 횟수가 많을 수록 두 단어는 비슷한 의미를 가진다

1. CBOW (Continuous Bag Of Word)

주변 단어를 통해서 주어진 단어가 무엇인지 찾는 것

앞 뒤로 c/2개의 단어를 (총 c개)통해 주어진 단어를 예측

Untitled

CBOW는 주변 단어로 중심 단어를 더 정확히 맞추기 위해 계속해서 이 W와 W'를 학습해가는 구조입니다.

CBOW의 목적함수

Untitled

2. Skip-Gram

주어진 단어를 통해서 주변 단어들을 예측하는 것

주어진 단어를 통해 앞 뒤로 c/2개의 독립인 단어를 (총 c개)를 예측

일반적으로 skip-gram이 더 성능이 더 좋음

gradient 관점에서 하나의 target단어가 back-propagation 주변 4개의 단어로 흘러가는(CBOW)보다 하나로 update하는데 들어가는 skipgram이 성능이 더 좋은 것

Untitled

Untitled

목적함수: maximize the log probability of any context word given the current center word

Untitled