https://gist.github.com/Nokomon/576a9908fbe438961982a4aff2e73366

일단 BERT로 구현을 했습니다. 데이터는 전에 썼던 ted-master.xlsx를 써서, TOP4 topics들의 transcript가 아닌, summary(description)를 모델에 넣고 학습시켰습니다.

모델의 Train Accuracy는 1에 가까워지는 반면, Test Accuracy는 약 50% 정도 됩니다. 갖가지 계수 및 test_size 조정 등을 해 보았으나, 결과는 45~55%를 벗어나지 않았습니다. 그럼에도, 맨 아래를 보시면 아시겠지만 생각보다는 잘 하더라고요...

과적합 문제는 아닌 것 같습니다. 아래에 있는 두 가지 그래프를 보고 과적합이 일어나는 시점을 계산해서 epoch수와 batch_size를 조정해 주었습니다.

제 추측은 데이터 개수가 현저히 부족해서가 아닐까 싶습니다. 2만 개의 다른 데이터를 넣었을 땐 train, test accuracy가 못해도 90%는 넘었는데 이거는 토픽당 300개도 안되는 데이터를 가지고 돌리고 있습니다.

아무튼, 저희가 개발 측면에 있어서 이 모델을 쓴다면 이제부터 이야기 할 주제는 다음과 같습니다:

주제1. Transcript를 어떻게 넣을 것인가?


내일 다시 확인하겠지만, BERT는 최대 512 tokens를 input으로 가질 수 있는 것으로 알고 있습니다. 그에 반해, transcript는 그 길이를 넘어갑니다. 따라서, 어떤 기준으로 넣어야 할 지를 정해야 할 것 같습니다.

이 주제가 중요하다고 생각되는 이유는, 정~~말 그나마 linguistics와 가장 연관성이 있는 주제라고 판단이 되기 때문입니다.

주제2. Accuracy를 어떻게 높일 것인가?


언급했듯, 현재 Accuracy가 낮은 것이 현실입니다. (최소 80%는 되어야 할 것 같습니다)