BLEU


기계 번역의 품질을 평가하는 측정 기준

간단하고 빠른 계산으로 인간이 생각하는 품질과 높은 상관관계를 가지고 있어,

현재까지도 가장 널리 쓰이는 측정 기준

INPUT: 기계 번역 결과와 여러 개의 실제 번역 결과

OUTPUT: 0~1 사이의 값 (1에 가까울 수록 번역 결과가 좋은 것을 의미)

  1. 기계 번역 결과 (candidate)와 실제 번역 결과 (reference)에서 1-gram~4-gram에 대한 정확도 계산

  2. 4개의 결과를 기하평균을 내서 precision을 구함

  3. 길이(length)에 대한 패널티(brevity penalty)를 곱해서 BLEU 값을 계산

문장을 어떤 단위로 쪼갰을 때 인접한 n개를 모은 것

문장간의 유사도를 측정할 때 문장의 일부로 매칭을 해보기 위해 사용한다.

Ex) input: "I am a boy"

3-gram: "I am a", "am a boy"