https://gist.github.com/Nokomon/65d8f29912d8a0fd122b6ab26a4095aa
과적합 문제? (= Training data의 accuracy는 83%로 어느 정도 괜찮은데 Test data의 accuracy가 너무 낮습니다)
→ 데이터를 더 추가하면 될 것 같습니다. 현재 742개 가량으로 train_test_split을 겨우 겨우 했기에...
TF-IDF 사용?
→ TF-IDF를 사용해서 뽑아봤는데 이게 맞는지 확신이 잘 안 섭니다... 빈도수가 낮은 단어들을 특별한 단어들이라고 생각해서 뽑는게 TF-IDF인데 이렇게 되면 training set의 특별한 단어들에 맞춰서 학습을 진행하니 당연히 과적합이 일어날 수 밖에 없는 것 아닌가 싶어서요.
→ 9/26: 이거 제가 TF-IDF 정말 잘못 썼습니다... TF-IDF는 죄가 없습니다....
BERT 미사용...
→ 더 찾아보겠습니다...
(9/26추가) 제가 TF-IDF 개념을 헷갈려서 input을 이상하게 넣었습니다.......