https://gist.github.com/Nokomon/65d8f29912d8a0fd122b6ab26a4095aa

보이는 문제점 및 의문점들


  1. 과적합 문제? (= Training data의 accuracy는 83%로 어느 정도 괜찮은데 Test data의 accuracy가 너무 낮습니다)

    → 데이터를 더 추가하면 될 것 같습니다. 현재 742개 가량으로 train_test_split을 겨우 겨우 했기에...

  2. TF-IDF 사용?

    → TF-IDF를 사용해서 뽑아봤는데 이게 맞는지 확신이 잘 안 섭니다... 빈도수가 낮은 단어들을 특별한 단어들이라고 생각해서 뽑는게 TF-IDF인데 이렇게 되면 training set의 특별한 단어들에 맞춰서 학습을 진행하니 당연히 과적합이 일어날 수 밖에 없는 것 아닌가 싶어서요.

    → 9/26: 이거 제가 TF-IDF 정말 잘못 썼습니다... TF-IDF는 죄가 없습니다....

  3. BERT 미사용...

    → 더 찾아보겠습니다...

  4. (9/26추가) 제가 TF-IDF 개념을 헷갈려서 input을 이상하게 넣었습니다.......

앞으로 알아봐야 할 것들


  1. TED transcripts말고 아예 새로운 빅데이터를 가져와서 multi-label classification을 시도해야 할 것 같습니다.
  2. LDA
  3. BERT