1. output/10-K json, clean.txt파일 지우기(그래야 json converter 실행됨)

  2. run_html_cleaner.py 필요없음

    야매 실행방법:

    run_html_cleaner.py에서 아무것도 안하는 코드로 바꿔주기 → 그냥 이 파이썬파일 실행안하는걸로 하니까 main에서 path에러 뜸... 더 좋은 방법이 있다면 제안해주세요

    → 아무것도 처리안하고 그대로 복사하여 사용하였습니다. 이렇게 하였을 때 json 파일에서 문제가 생깁니다.

    error 내역)cannot import name 'BatchEncoding' from 'transformers.tokenization_utils'

    # run_html_clenaer.py
    def run_html_cleaner(path, download=True):
        file_name = "{}_clean.txt".format(path[:-4])
        processed_text = 0
        return processed_text, file_name
    
    # run_html_cleaner.py
    def run_html_cleaner(path, download=True):
        file_name = "{}_clean.txt".format(path[:-4])
        if os.path.isfile(file_name):
            document = open(file_name, 'r', encoding='utf-8')
            return document, file_name
    
        with open(path, mode='r', encoding='utf-8') as raw_html:
            soup = BeautifulSoup(raw_html, "lxml")
    
            document = soup.text
    
        if download:
            with open(file_name, "w", encoding='UTF-8') as processed_text:
                processed_text.write(document)
                processed_text.close()
    
        return processed_text, file_name
    
    #지우님 코드 176번째 줄부터 
    if not os.path.isdir(args.base_dirname):
            os.mkdir(args.base_dirname)
    
        # 요게 필요한가?
        # get_filings(name_companies=name_companies, start_date=args.start_date, end_date=args.end_date, download_dir=args.base_dirname)
    
        for idx, name_company in enumerate(name_companies):
            print (f"{idx:5}/{len(name_companies)} | {name_company}")
            print ("-")
            targetPattern = rf"{args.base_dirname}/{name_company}/10-K/*.txt"
            lst_paths = glob.glob(targetPattern)
            lst_paths = [path for path in lst_paths if 'clean' in path]
    
            for path in lst_paths:
                '''
                print('start html cleaner!')
                _, file_name = run_html_cleaner(path=path, download=True)
    
                '''
                
                print('start json converter!')
                inputs_json, json_name = get_all_json(file_name=path, download=True)
    
                print('start document RE using SSAN!')
                run_SSAN(parser=parser, input_json=inputs_json, SSAN_model=args.SSAN_model, SSAN_type_model=args.SSAN_type_model, SSAN_entity_structure=args.SSAN_entity_structure, save_dirname=f"{args.base_dirname}/{name_company}/", args=args)
    
        print (f"Elapsed Time : {time.time() - start}")
    
    if __name__ == "__main__":
        main(args)
    
  3. Data 준비하기

    우리가 가진 데이터에서 뉴스내용만 dataframe에 가져옴

    그리고 seperator=’\n’로 해서 txt파일로 저장

    이친구를 output/10-K (숫자뭐시기—-)_clean.txt 이름으로 바꿔서넣어주기

    https://colab.research.google.com/drive/1K2J20-KRp8-gzo36FjrtFTP1oiwwrvdO?usp=sharing