김지은 교수님과 면담 안건지
1. 모델의 Accuracy 관련
-
토픽 개수
제한된 데이터 수 때문인지, 토픽을 늘리면 늘릴수록 Accuracy가 현저히 떨어짐.
-
글자 수
BERT의 한계 때문에 어떻게 해야할 지 잘 모르겠음.
선택지1) window(?)를 설정하여 200자씩 넣기
이에 대한 대안으로
- 토픽 개수 제한 (TOP ~~)
- 토픽 통폐합
- description 가지고 학습
2. 논문 관련
- Linguistics와 얼마나 연관점이 있어야 하는가?
- 어떤 방향으로 작성해야 하는가?
- 개발? 전산언어학? 자연어처리? 보고서?
- RNN, LSTM 등의 방법과 성능 비교
면담 회의록
틀린 내용 및 추가할 내용이 있으면 말씀해주세요~~
1. 데이터 관련
- TED 데이터는 데이터 개수도 개수지만, 오탈자, BERT에 넣을 수 없는 단어(영어가 아닌 단어) 등의 측면을 고려했을 때 적절하지 않다.
- 더군다나, BERT의 input은 512tokens가 최대기에, transcript를 기반으로 모델을 설계하는 데는 한계가 있을 것이다.
- technical data, medical data 등 더 좋은 데이터가 많을 것이다. Kaggle, Github 등 뒤져 봐라.
- 조만간 받기로 한 좋은 데이터가 있는데 오늘 내일중으로 공유하겠다.