output/10-K json, clean.txt파일 지우기(그래야 json converter 실행됨)
run_html_cleaner.py 필요없음
야매 실행방법:
run_html_cleaner.py에서 아무것도 안하는 코드로 바꿔주기 → 그냥 이 파이썬파일 실행안하는걸로 하니까 main에서 path에러 뜸... 더 좋은 방법이 있다면 제안해주세요
→ 아무것도 처리안하고 그대로 복사하여 사용하였습니다. 이렇게 하였을 때 json 파일에서 문제가 생깁니다.
error 내역)cannot import name 'BatchEncoding' from 'transformers.tokenization_utils'
# run_html_clenaer.py
def run_html_cleaner(path, download=True):
file_name = "{}_clean.txt".format(path[:-4])
processed_text = 0
return processed_text, file_name
# run_html_cleaner.py
def run_html_cleaner(path, download=True):
file_name = "{}_clean.txt".format(path[:-4])
if os.path.isfile(file_name):
document = open(file_name, 'r', encoding='utf-8')
return document, file_name
with open(path, mode='r', encoding='utf-8') as raw_html:
soup = BeautifulSoup(raw_html, "lxml")
document = soup.text
if download:
with open(file_name, "w", encoding='UTF-8') as processed_text:
processed_text.write(document)
processed_text.close()
return processed_text, file_name
#지우님 코드 176번째 줄부터
if not os.path.isdir(args.base_dirname):
os.mkdir(args.base_dirname)
# 요게 필요한가?
# get_filings(name_companies=name_companies, start_date=args.start_date, end_date=args.end_date, download_dir=args.base_dirname)
for idx, name_company in enumerate(name_companies):
print (f"{idx:5}/{len(name_companies)} | {name_company}")
print ("-")
targetPattern = rf"{args.base_dirname}/{name_company}/10-K/*.txt"
lst_paths = glob.glob(targetPattern)
lst_paths = [path for path in lst_paths if 'clean' in path]
for path in lst_paths:
'''
print('start html cleaner!')
_, file_name = run_html_cleaner(path=path, download=True)
'''
print('start json converter!')
inputs_json, json_name = get_all_json(file_name=path, download=True)
print('start document RE using SSAN!')
run_SSAN(parser=parser, input_json=inputs_json, SSAN_model=args.SSAN_model, SSAN_type_model=args.SSAN_type_model, SSAN_entity_structure=args.SSAN_entity_structure, save_dirname=f"{args.base_dirname}/{name_company}/", args=args)
print (f"Elapsed Time : {time.time() - start}")
if __name__ == "__main__":
main(args)
Data 준비하기
우리가 가진 데이터에서 뉴스내용만 dataframe에 가져옴
그리고 seperator=’\n’로 해서 txt파일로 저장
이친구를 output/10-K (숫자뭐시기—-)_clean.txt 이름으로 바꿔서넣어주기
https://colab.research.google.com/drive/1K2J20-KRp8-gzo36FjrtFTP1oiwwrvdO?usp=sharing
ouput json
문제점들...
의문점