학계와 산업에서 자유주체 대화 시스템이 상당한 관심을 받고 있음
그럼에도 불구하고 효과적인 자동 평가 메트릭이 없음 → 현재 연구에서 큰 걸림돌임
현재 평가 방식은 사람에 의한 광범위한 평가가 관행처럼 이루어지고 있음
하지만 이것은 시간, 비용적으로 문제가 있음
모델 개발 과정에서 연구자들은 BLEU나 Perplexity 와 같은 평가 메트릭을 사용
하지만 이러한 메트릭은 인간의 판단의 연관성이 낮음 → 차선의 대화시스템
자유 대화 챗봇의 최근 트렌드는 대규모의 소셜미디어 대화 데이터로 사전 학습된 대화 모델을 포함시키는 것
하지만 소셜미디어 대화에 포함된 데이터가 공격적이거나 부적절할 수 있다.
그러한 데이터의 무차별적인 사용로 무감각하고 유해한 생성 모델을 만들 수 있다
Xu et al., (2020)은 자유주제 챗봇에서 안전성을 위한 방법을 제안한다.
유해한 comment에 대한 안전한 응답, 다른 주제로 돌려서 그러한 comment에 직접적으로 대답하는 것을 방지하는 안전한 챗봇을 만드는 데 도움이 되는 방법이다.
그치만 때때로 단순히 그러한 comment를 단순히 무시하는 것이 충분하지 않을 수 있다.
특히 고객 응대와 같은 영역에서 공격적인 불평을 받을 수 있지만, 그것에 예의 바르고 적절하게 응답해야한다.
효과적인 자동 대홰 평가 메트릭은 두가지의 중요한 특징을 가져야 한다.(Deriu et al., 2019)
이 task에서의 목표는 위의 특성을 포함하는 효과적인 대화 평가 메트릭을 찾는 것이다. 이러한 메트릭은 인간의 평가를 대체할 수 있다.
우리는 이러한 제안된 평가 메트릭의 효과성을 평가하기 위해 현존하는 데이터셋을 찾았다.
DSTC6 human evaluation data (Hori et al., 2017) DSTC7 human evaluation data (Galley et al., 2019) Persona-Chatlog dataset (See et al., 2019) USR dataset (Mehri & Eskenazi, 2020) FED dataset (Mehri & Eskenazi, 2020)
이 평가 task는 제안한 자동평가 메트릭의 robustness와 다른 대화 평가 차원에서 유용한 평가를 할 수 있는 능력을 확인한다.
또한 제안된 메트릭은 대화와 turn level에 있어서 인간의 판단과 잘 연관될 것이라고 예상된다.