정보게시판

1. 데이터 소개 COLUMN: Premise | Hypothesis | label LABEL : "Contradiction", "Entailment", "Neutral" train.csv : 28998 row, 3 col test.csv: 1666 row, 3col submission.csv : 1666, 1col (label) train = pd.read_csv('train_data.csv') test = pd.read_csv('test_data.csv') submit = pd.read_csv('submission.csv') 2. Validation 데이터 생성 ** train 데이터와 validatoin데이터를 생성할 때 레이블값의 불균형이 생기면 안되기 때문에 랜덤 샘플링으로 데이터셋 구분 imp..

0. 목차 Bert를 사용하는 이유 Bert 활용 분야 코드 (tensorflow) 1. BERT를 사용하는 이유 "Attention is all you need"이라는 논문이 나온 이후로 자연어처리(NLP)분야는 더욱 빠르게 발전하기 시작했다. 논문에서 Transformer라고 이름을 붙힌 이 모델은 Attention layer를 활용하여 인코더(Encoder)와 디코더(Decoder)를 만들어 번역모델로도 사용하곤 했다. 추후 이 모델의 인코더 혹은 디코더만을 활용하여, 인코더(Encoder)로 BERT와 같은 모델을 만들었고, 디코더(Decoder)로 GPT와 같은 모델을 만들었다. 각각의 장점으로 인코더(Encoder)는 문장의 문맥을 인식하는 데 유리하고, 디코더(Decoder)는 문장 생성에 ..