이번 논문리뷰부터는 코드리뷰도 같이 진행하기로 하였다. 이번 코드리뷰는 huggingface의 transformers 패키지 내의 구현된 코드를 분석하는 것으로 하기로 하였다. 코드의 주소는 다음과 같다. https://github.com/huggingface/transformers/blob/master/src/transformers/models/bert/modeling_bert.py GitHub - huggingface/transformers: 🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX. 🤗 Transformers: State-of-the-art Machine Learning for Pytorch,..

Abstract 이번 연구팀에서는 새로운 language representation 모델인 BERT에 대해 소개한다. 이 BERT는, Bidirectional Encoder Representations from Transformers를 의미한다. 최근의 language representation 모델들과는 다르게, BERT는 deep bidirectional representation들을 unlabeled한 텍스트로부터 모든 layer에서 left context와 right context에 대해 공동으로 조절하면서 사전 훈련하도록 디자인되어 있다. 결과적으로, 사전 훈련된 BERT 모델은 그저 하나의 추가적인 output layer를 통해서 fine-tuning을 할 수 있고, 이는 넓은 범위의 task..