[DL Basic] 8강 Transformer

Transformer : RNN처럼 재귀적인 구조 없이, 오직 Attention을 이용하여 만들어진 구조이다. 여기서는 Self-Attention이라는 것이 Encoder와 Decoder에 이용이 되고, 핵심이다. Sequential한 데이터를 처리하고 인코딩 하는 것으로, NLP 분야에서 주목을 하였고, 이후에는 Image Detection, Classification 등등 Vision분야 등에도 사용되기 시작했다. Transformer 중 Self-Attention 부분에 대해 단계적으로 알아보자. 처음에는 단어들에 대해서 임베딩(word embedding)을 해야한다. NLP에서 아주 기초적인 단계이다. 이 word vector들이 Encoder 내의 Self-Attention layer를 거친 후..

2022.02.08