ABSTRACT BERT와 같은 Masked language modeling(MLM) pre-training 방법들은 input을 몇몇 [MASK] 토큰으로 교체함으로써 손상시키고, 모델이 원래 토큰을 만들어내도록 훈련시킨다. 비록 이 방법들이 downstream NLP task들로 전이시킬 때 좋은 결과를 창출하지만, 이 방법들이 효과적이기 위해서는 일반적으로 많은 계산량이 요구된다. 대안책으로, 연구팀에서는 더 sample-efficient한 pre-training task인 소위 “replaced token detection”을 제안한다. 이는 input을 masking하는 대신에, 몇몇 토큰들을 작은 generator network 내에서 샘플링 된 그럴 듯한 대체어로 교체한다. 철저한 실험을 통..

Abstract Open domain question answering을 위한 generative model들은 external knowledge에 의지하지 않는 채로 경쟁력이 있음을 증명해 왔다. 비록 이러한 접근법이 유망한 방법이지만, 파라미터가 수십억 개에 달하는 모델을 요구하는 방법이며, 이는 train 및 query를 하는 데에 비용이 많이 들게 된다. 이번 논문에서는, 연구팀에서 이러한 모델들이 얼마나 많이 text passage(잠재적으로 정답을 포함하고 있는)들을 retrieving 하는 데에 이점이 있는 지를 조사한다. 연구팀은 Natural Questions and TriviaQA open benchmark들에서 SOTA를 달성하였다. 흥미롭게도, 연구팀은 이 방법을 사용한 성능이 re..