Abstract Image classification 연구에서 이루어진 최근의 많은 진전들은 훈련 과정의 refinement(정제, 구체화, 여기서는 논문 제목의 trick과 의미가 비슷한 것 같음) 덕택이다. 예시로 data augmentation의 변화와 optimization 방법의 변화 등이 있다. 그러나, 문헌에서는 대부분의 refinement들은 implementation detail로 간략하게 언급되거나, source code 안에서만 볼 수 있다. 이번 논문에서는, 연구팀은 이러한 refinement들의 모음을 조사하고 ablation study를 통해 최종 모델 정확도에 대한 영향을 경험적으로 평가할 것이다. 연구팀에서는 이러한 refinement들을 결합함으로써, 다양한 CNN 모델들을..

ABSTRACT Transformer 아키텍처가 NLP task에서 de-facto standard(사실상 표준, 공인 기관에서 공식적으로 지정한 표준은 아니지만 현재 압도적으로 쓰이는 업계 표준을 의미함)된 반면에, Computer Vision에서의 Transformer 적용은 제한적인 상태이다. Vision에서는, 전반적인 아키텍처를 유지하는 상태에서, attention은 CNN과 결합하여 적용되거나, CNN 내의 특정 구성요소를 대체하는 방식으로 사용된다. 이번 연구팀에서는 이 CNN에 의존할 필요가 없고, 순수히 transformer를 image patch들의 sequence에 직접 적용하는 것이 image classification task들에 매우 잘 작동할 수 있다는 것을 보여준다. 많은 양..

이번 논문리뷰부터는 코드리뷰도 같이 진행하기로 하였다. 이번 코드리뷰는 huggingface의 transformers 패키지 내의 구현된 코드를 분석하는 것으로 하기로 하였다. 코드의 주소는 다음과 같다. https://github.com/huggingface/transformers/blob/master/src/transformers/models/bert/modeling_bert.py GitHub - huggingface/transformers: 🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX. 🤗 Transformers: State-of-the-art Machine Learning for Pytorch,..

Abstract 이번 연구팀에서는 새로운 language representation 모델인 BERT에 대해 소개한다. 이 BERT는, Bidirectional Encoder Representations from Transformers를 의미한다. 최근의 language representation 모델들과는 다르게, BERT는 deep bidirectional representation들을 unlabeled한 텍스트로부터 모든 layer에서 left context와 right context에 대해 공동으로 조절하면서 사전 훈련하도록 디자인되어 있다. 결과적으로, 사전 훈련된 BERT 모델은 그저 하나의 추가적인 output layer를 통해서 fine-tuning을 할 수 있고, 이는 넓은 범위의 task..

Transformer : RNN처럼 재귀적인 구조 없이, 오직 Attention을 이용하여 만들어진 구조이다. 여기서는 Self-Attention이라는 것이 Encoder와 Decoder에 이용이 되고, 핵심이다. Sequential한 데이터를 처리하고 인코딩 하는 것으로, NLP 분야에서 주목을 하였고, 이후에는 Image Detection, Classification 등등 Vision분야 등에도 사용되기 시작했다. Transformer 중 Self-Attention 부분에 대해 단계적으로 알아보자. 처음에는 단어들에 대해서 임베딩(word embedding)을 해야한다. NLP에서 아주 기초적인 단계이다. 이 word vector들이 Encoder 내의 Self-Attention layer를 거친 후..

RNN(Vanilla) : 재귀적인 신경망으로, sequential한 data를 처리할 수 있는 신경망이다. 각각의 timestep에서의 입력과 이전 timestep까지의 hidden state를 이용하여 과거의 정보를 사용할 수 있는 Neural Network인 것이다. 그림으로 나타내면 다음과 같다. RNN의 단점으로는 vanishing gradient 혹은 exploding gradient가 발생할 수 있다는 것이다. 만약 activation function이 sigmoid같은 것이면 vanishing gradient가 발생하고, ReLU같은 것이면 exploding gradient가 발생할 수 있다. 또한, Vanilla RNN은 너무 먼 과거의 정보를 활용할 수가 없다. 이를 보완하기 위해서, ..