stop-word

stop-word는 다른 단어에 비해 자주 사용되어 그 의미가 적음

https://www.opinosis-analytics.com/knowledge-base/stop-words-explained/#.Ye-p4f5BwuU

stop-word 예시 → 해당 github에는 700여개의 stop-words가 있음

https://github.com/igorbrigadir/stopwords/blob/master/en/terrier.txt

→ 해당 github에 있는 words에는 since, except와 같은 단어도 있는데 이를 무시

nltk에서는 179개의 불용어가 있음

주로 제거하는 방식을 사용하지만, TF-IDF값을 사용하기도 함.

TF-IDF

https://yngie-c.github.io/nlp/2020/05/16/nlp_tf-idf/

생각해보아야 할것

  1. 어떻게 적용해야 할 것인가 → stop word를 우리가 지정할 것인가 아니면 기존의 set을 사용할 것인가
  2. 우선 앞단의 task가 되어야 정리될듯...