티스토리

DGUKBS

검색하기

블로그 홈

DGUKBS

dontn.tistory.com/m

DGUKBS 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

ELECTRA: PRE-TRAINING TEXT ENCODERSAS DISCRIMINATORS RATHER THAN GENERATORS ABSTRACT BERT와 같은 Masked language modeling(MLM) pre-training 방법들은 input을 몇몇 [MASK] 토큰으로 교체함으로써 손상시키고, 모델이 원래 토큰을 만들어내도록 훈련시킨다. 비록 이 방법들이 downstream NLP task들로 전이시킬 때 좋은 결과를 창출하지만, 이 방법들이 효과적이기 위해서는 일반적으로 많은 계산량이 요구된다. 대안책으로, 연구팀에서는 더 sample-efficient한 pre-training task인 소위 “replaced token detection”을 제안한다. 이는 input을 masking하는 대신에, 몇몇 토큰들을 작은 generator network 내에서 샘플링 된 그럴 듯한 대체어로 교체한다. 철저한 실험을 통.. 공감수 0 댓글수 0 2022. 7. 6.
Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering Abstract Open domain question answering을 위한 generative model들은 external knowledge에 의지하지 않는 채로 경쟁력이 있음을 증명해 왔다. 비록 이러한 접근법이 유망한 방법이지만, 파라미터가 수십억 개에 달하는 모델을 요구하는 방법이며, 이는 train 및 query를 하는 데에 비용이 많이 들게 된다. 이번 논문에서는, 연구팀에서 이러한 모델들이 얼마나 많이 text passage(잠재적으로 정답을 포함하고 있는)들을 retrieving 하는 데에 이점이 있는 지를 조사한다. 연구팀은 Natural Questions and TriviaQA open benchmark들에서 SOTA를 달성하였다. 흥미롭게도, 연구팀은 이 방법을 사용한 성능이 re.. 공감수 1 댓글수 0 2022. 6. 21.
User Guide for KOTE: Korean Online Comments Emotions Dataset Abstract 데이터를 긍정 혹은 부정으로 분류하는 감성 분석은 텍스트의 감정적인 측면을 인식하기 위해 주로 사용되어 왔다. 그러나 감정적 의미에 철저한 검토는 부족하였다. 최근에는, 단순 valence(심리학 용어, “공감” 비슷한 뜻)에 더해 labeled 된 corpora는 이러한 한계를 넘을 수 있도록 제작된다. 그러나, 대부분의 한국어 감정 corpora는 예시의 숫자가 적고, 제한된 범위의 감정만 cover한다. 연구팀에서는 KOTE 데이터셋을 소개한다. KOTE에는 5만 개의 한국어 온라인 댓글(25만 개의 case)를 포함하며, 각 댓글은 43개의 label 또는 감정 없음으로 labeling 되어있으며, 크라우드소싱으로 진행되었다. 43개의 감정 taxonomy는 word embeddi.. 공감수 0 댓글수 0 2022. 5. 26.
Dense Passage Retrieval for Open-Domain Question Answering Dense Passage Retrieval for Open-Domain Question Answering Open-domain question answering은 후보 context를 고르기 위한 효율적인 passage retrieval에 의지하며, 여기에는 전통적인 sparse vector space model들인 TF-IDF, BM25 등이 표준적인 방법이다. 이번 논문에서는, 연구팀은 retrieval가 dense representation만 이용하여 거의 구현될 수 있다는 것을 보여줄 것이며, 여기서 embedding은 단순한 dual-encoder framework를 통해 작은 수의 question 및 passage로부터 학습될 것이다. 넓은 범위의 open-domain QA dataset들에서.. 공감수 0 댓글수 0 2022. 4. 28.
[MRC] 03. Generation-based MRC Generation-based MRC는 Extraction-based MRC와는 달리 classification이 아닌 generation 문제이다. question을 보고 answer를 생성해낸다. Extractive answer dataset이라면, Extraction-based MRC와 동일하게 EM 및 F1-score로 평가받는다. Generation-based MRC는 대략적으로 다음 그림과 같다. Pre-processing 대부분은 Extraction-based MRC와 동일하다. 다만, special token에서는 Extraction-based MRC는 [CLS], [SEP], [PAD] 토큰을 사용하며, Generation-based MRC는 [PAD] 토큰을 사용하며, [CLS]와 [S.. 공감수 0 댓글수 0 2022. 4. 27.
[MRC] 02. Extraction-based MRC 질문과 답변이 항상 주어진 지문 내에 존재하여 span을 추출해내는 것이다. Extraction-based MRC는 EM(Exact Match) 및 F1-score로 평가받는다. 개략적인 Extraction-based MRC는 다음과 같이 나타낼 수 있다. Preprocessing Tokenization 텍스트를 토큰 단위로 자르는 것으로, 한국어는 주로 띄어쓰기, 형태소(morpheme), 서브워드(subword)가 기본 토큰 단위로가 되며, 특히 OOV 문제를 해결할 수 있는 서브워드 알고리즘인 BPE(Byte-Pair Encoding)을 많이 사용한다. Special Tokens [CLS], [SEP], [PAD] 등 BERT 내에서 주로 사용되는 스페셜 토큰들을 사용한다. Attention Mas.. 공감수 0 댓글수 0 2022. 4. 26.
[MRC] 01. MRC Intro & Python Basics MRC에 대해 간략하게 묘사할 수 있는 사진이다. MRC는 Machine Reading Comprehension의 줄임말로, 기계 독해를 의미한다. 마치 국어 비문학 문제처럼, 지문이 주어지면 그 지문을 읽고, 질문에 대한 답변을 하는 것이다. 이 MRC는 크게 3가지 종류로 나눌 수 있다. 1) Extractive Answer Datasets 2) Descriptive/Narrative Answer Datasets 3) Multiple-choice Datasets 여기서 1) Extractive Answer Datasets의 경우는 question에 대한 답이 주어진 context 내의 span으로 주어진다. 앞으로 진행할 MRC 대회의 경우 이 1)에 속한다고 볼 수 있다. 예시 데이터셋으로 SQuA.. 공감수 0 댓글수 0 2022. 4. 25.
BART: Denoising Sequence-to-Sequence Pre-training for NaturalLanguage Generation, Translation, and Comprehension Abstract 이번 논문에서는 BART를 소개한다. BART는 seq2seq model을 pre-training시키는 denoising autoencoder이다. BART는 (1) 임의의 noising function으로 텍스트를 손상시키고, (2) original 텍스트를 재구축하기 위한 model을 학습한다. BART는 standard Transformer-based machine translation 아키텍처를 사용하며, 이 아키텍처는 간단함에도 불구하고, BERT와 GPT 및 다른 pre-training 방법들을 일반화 시킨 것으로 보여질 수 있다. BART 연구팀은 수많은 noising 방법들을 평가하며, 그 결과 제일 좋은 성능을 보인 것은 original 문장의 순서를 랜덤하게 shuffl.. 공감수 0 댓글수 0 2022. 3. 31.
KLUE: Korean Language Understanding Evaluation Abstract KLUE benchmark에 대한 논문이다. 8가지 한국어 NLU task에 대한 모음이 KLUE이며, Topic Classification, Semantic Textual Similarity, Natural Language Inference, Named Entity Recognition, Relation Extraction, Dependency Parsing, Machine Reading Comprehension, Dialogue State Tracking 이렇게 8가지이다. 저작권을 지키면서 scratch에서 다양한 corpora를 써서 모든 task를 구축하였다. 또한 KLUE에 적합한 evaluation metric도 제공한다. Pre-trained 모델인 PLM, KLUE-BER.. 공감수 0 댓글수 0 2022. 3. 26.
RoBERTa: A Robustly Optimized BERT Pretraining Approach Abstract Language model pretraining은 엄청난 성능 향상으로 연구들을 이끌었지만, 조심스레 다른 접근법들과 비교되고 있다. Training의 계산 비용은 expensive하고, 각기 다른 사이즈의 private dataset들로 훈련되며, hyperparameter 선택은 최종 결과에 엄청난 영향을 끼친다. 많은 주요한 hyperparameter들과 training data size의 영향을 조심스레 비교하는 BERT pretraining에 대한 replication study(이전의 연구들을 약간 다르게 하여 재현, 반복함)를 제시할 것이다. RoBERTa 연구팀에서는 BERT가 많이 undertrained되었으며, 이 BERT 이후에 나온 모든 모델들의 성능을 따라잡거나 역.. 공감수 1 댓글수 0 2022. 3. 24.
Language Models are Unsupervised Multitask Learners Abstract Question answering, machine translation, reading comprehension, summarization과 같은 자연어 처리 task들은 전형적으로 task-specific한 데이터셋으로 supervised learning의 방식으로 접근한다. 연구팀에서는 언어 모델들이 수백만개의 웹페이지들의 새로운 데이터셋인 WebText로 훈련될 때 supervision없이 이 task들을 학습하기 시작한다는 것을 증명한다. Document에 question이 더해진 조건에서, 언어 모델로 생성된 answer들은 CoQA 데이터셋에서 55 F1 score를 달성하는데, 이는 baseline system들 중 4분의 3정도와 성능이 비슷하거나, 더 높아진 결과이다.(1.. 공감수 1 댓글수 0 2022. 3. 14.
Improving Language Understanding by Generative Pre-Training Abstract Natural language understanding(NLU, 자연어 이해, 컴퓨터가 사용자의 실제 의미를 추론함)은 textual entailment(두 문장이 주어졌을 때, 첫 번째 문장이 두 번째 문장을 수반하는가 혹은 위배되는가?), question answering(질의 응답), semantic similarity assessment(문서, 용어 사이의 유사성을 평가함), document classification(문서 분류, 문서에 레이블을 할당하는 것임)등의 다양하고 넓은 범위의 task들로 이루어진다. 비록 거대한 unlabeled text corpora들이 방대하게 존재하지만, 이 구체적인 task들을 학습하기 위한 labeled data는 부족하며, 이로 인해 구분되어.. 공감수 0 댓글수 0 2022. 3. 10.
Bag of Tricks for Image Classification with Convolutional Neural Networks Abstract Image classification 연구에서 이루어진 최근의 많은 진전들은 훈련 과정의 refinement(정제, 구체화, 여기서는 논문 제목의 trick과 의미가 비슷한 것 같음) 덕택이다. 예시로 data augmentation의 변화와 optimization 방법의 변화 등이 있다. 그러나, 문헌에서는 대부분의 refinement들은 implementation detail로 간략하게 언급되거나, source code 안에서만 볼 수 있다. 이번 논문에서는, 연구팀은 이러한 refinement들의 모음을 조사하고 ablation study를 통해 최종 모델 정확도에 대한 영향을 경험적으로 평가할 것이다. 연구팀에서는 이러한 refinement들을 결합함으로써, 다양한 CNN 모델들을.. 공감수 1 댓글수 0 2022. 2. 22.
(Vision Transformer)AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE ABSTRACT Transformer 아키텍처가 NLP task에서 de-facto standard(사실상 표준, 공인 기관에서 공식적으로 지정한 표준은 아니지만 현재 압도적으로 쓰이는 업계 표준을 의미함)된 반면에, Computer Vision에서의 Transformer 적용은 제한적인 상태이다. Vision에서는, 전반적인 아키텍처를 유지하는 상태에서, attention은 CNN과 결합하여 적용되거나, CNN 내의 특정 구성요소를 대체하는 방식으로 사용된다. 이번 연구팀에서는 이 CNN에 의존할 필요가 없고, 순수히 transformer를 image patch들의 sequence에 직접 적용하는 것이 image classification task들에 매우 잘 작동할 수 있다는 것을 보여준다. 많은 양.. 공감수 1 댓글수 0 2022. 2. 19.
[코드리뷰]BERT 이번 논문리뷰부터는 코드리뷰도 같이 진행하기로 하였다. 이번 코드리뷰는 huggingface의 transformers 패키지 내의 구현된 코드를 분석하는 것으로 하기로 하였다. 코드의 주소는 다음과 같다. https://github.com/huggingface/transformers/blob/master/src/transformers/models/bert/modeling_bert.py GitHub - huggingface/transformers: 🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX. 🤗 Transformers: State-of-the-art Machine Learning for Pytorch,.. 공감수 4 댓글수 2 2022. 2. 15.
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Abstract 이번 연구팀에서는 새로운 language representation 모델인 BERT에 대해 소개한다. 이 BERT는, Bidirectional Encoder Representations from Transformers를 의미한다. 최근의 language representation 모델들과는 다르게, BERT는 deep bidirectional representation들을 unlabeled한 텍스트로부터 모든 layer에서 left context와 right context에 대해 공동으로 조절하면서 사전 훈련하도록 디자인되어 있다. 결과적으로, 사전 훈련된 BERT 모델은 그저 하나의 추가적인 output layer를 통해서 fine-tuning을 할 수 있고, 이는 넓은 범위의 task.. 공감수 1 댓글수 1 2022. 2. 13.
[DL Basic] 8강 Transformer Transformer : RNN처럼 재귀적인 구조 없이, 오직 Attention을 이용하여 만들어진 구조이다. 여기서는 Self-Attention이라는 것이 Encoder와 Decoder에 이용이 되고, 핵심이다. Sequential한 데이터를 처리하고 인코딩 하는 것으로, NLP 분야에서 주목을 하였고, 이후에는 Image Detection, Classification 등등 Vision분야 등에도 사용되기 시작했다. Transformer 중 Self-Attention 부분에 대해 단계적으로 알아보자. 처음에는 단어들에 대해서 임베딩(word embedding)을 해야한다. NLP에서 아주 기초적인 단계이다. 이 word vector들이 Encoder 내의 Self-Attention layer를 거친 후.. 공감수 2 댓글수 1 2022. 2. 8.
[DL Basic] 7강 RNN, LSTM, GRU RNN(Vanilla) : 재귀적인 신경망으로, sequential한 data를 처리할 수 있는 신경망이다. 각각의 timestep에서의 입력과 이전 timestep까지의 hidden state를 이용하여 과거의 정보를 사용할 수 있는 Neural Network인 것이다. 그림으로 나타내면 다음과 같다. RNN의 단점으로는 vanishing gradient 혹은 exploding gradient가 발생할 수 있다는 것이다. 만약 activation function이 sigmoid같은 것이면 vanishing gradient가 발생하고, ReLU같은 것이면 exploding gradient가 발생할 수 있다. 또한, Vanilla RNN은 너무 먼 과거의 정보를 활용할 수가 없다. 이를 보완하기 위해서, .. 공감수 1 댓글수 1 2022. 2. 8.
[DL Basic] 3강 Optimization Optimization : gradient descent를 통하여 loss function의 local minimum을 찾아가는 과정임. 이 optimization에 여러 중요 개념들에 대해 알아보자. Generalization : model은 training data만 잘 맞추어서는 안되고, 한번도 본적 없는 test data에 대해서도 최대한 training data와 비슷하게 좋은 성능이 나와야 한다. 아래 그림과 같이 Training Error와 Test Error의 차이가 Generalization gap이다. 이 gap이 너무 크면 overfitting이다. Cross-Validation : 이름 그대로 교차하면서 Validation data를 사용하는 것이다. Validation data를 .. 공감수 0 댓글수 0 2022. 2. 7.
[DL Basic] 2강 MLP Neural Networks(신경망) : 초창기에는 인간의 뇌를 모방하여 만든 계산 시스템이였다. 그러나 비행기의 예시와 같이, 현 시점에서의 Neural Network를 인간의 뇌를 모방했다고 하기에는 무리가 있을 정도로 달라지고 발전하였다. 그래서 신경망을 인간의 뇌라고 하기보다는 다음과 같이 말하는 것이 더 옳을 것 같다, 신경망은, "아핀변환과 비선형변환을 겹쳐 쌓고 쌓아서 탄생한 예측함수"라고 정의 해볼수 있다. 여기서 아핀변환은 선형변환 + 위치변환을 의미한다. 즉, 선형변환과 비선형변환이 쌓여있는 커다란 함수라고 볼 수 있을 것이다. 가장 간단한 신경망의 예시를 살펴보자. 매우매우 간단한 선형 신경망인데, x값을 하나 넣으면 y값을 예측해주는 1차함수 식이 모델이 된다. 여기서 Data는 (.. 공감수 0 댓글수 0 2022. 2. 7.
[Python] 5강 파이썬의 예외처리 : 프로그램 사용 시 발생할 수 있는 여러 오류를 처리하는 것. 예상 가능한 예외는 반드시 개발자가 사전에 정의하여 처리를 해주어야함. try ~ except 문법 : 다음과 같음. Built-in Exception : 파이썬에서 기본적으로 제공해주는 예외임. 다음과 같음. 더 자세한 예외들은 다음 링크에 정리되어 있음. https://docs.python.org/3/library/exceptions.html Built-in Exceptions — Python 3.10.2 documentation In Python, all exceptions must be instances of a class that derives from BaseException. In a try statement .. 공감수 0 댓글수 0 2022. 2. 6.
Sequence to Sequence Learning with Neural Networks Abstract Deep Neural Network(DNN, 깊은 신경망, 딥러닝)은 어려운 task 학습에서 완벽한 성능을 보여준 모델이다. 비록 DNN은 label이 있는 거대한 training set이 있을 때에는 좋은 성능을 보여주지만, sequence를 sequence에 mapping하는 경우에는 사용될 수가 없다. 이번 논문에서는, sequence 학습에 대한 일반적인 end-to-end 접근법을 보여준다. 그리고 이 sequence 학습에 대해서 sequence 구조에는 최소한의 가정을 하게된다. 이 논문에서 연구팀은 input sequence를 고정된 차원의 vector에 mapping시키기 위해서 여러 층의 LSTM(Long-Short Term Memory)을 사용하고, 이 vector로.. 공감수 3 댓글수 1 2022. 2. 3.
[Python] 4강 객체지향 프로그래밍(Object-Oriented Programming, OOP) : 객체(속성, 행동)의 개념을 프로그램으로 표현함. 여기서 속성(Attribute)은 변수(Variable), 행동(Action)은 함수(Method)로 표현함. OOP는 설계도에 해당하는 Class와 실제 구현체에 해당하는 Instance로 나눌 수 있다. 여기서, 네이밍에 대한 컨벤션이 있다. 주로 파이썬 함수 및 변수 명에는 snake_case를 사용하고, 파이썬 Class 명에는 CamelCase를 사용한다. 파이썬에서는 __가 붙은 함수는 특별한 함수(Magic Method)이다. 이에 대해 알아보자. 매직 메소드는 미리 정의된 메소드로, 이 메소드들을 재정의하면서 동작이 마법처럼 일어난다 하여 매직 메소드라 하였.. 공감수 3 댓글수 0 2022. 1. 30.
[Python] 3강 collections 모듈 : List, Tuple, Dict에 대한 Python Built-in 확장 자료 구조(모듈) deque : Stack & Queue를 모두 지원하는 자료구조, rotate 및 reverse 등의 Linked List에 있는 특성 역시 지원이 된다. 기존 List 형태의 함수 역시 지원이 된다. append는 일반 List에서 처럼 deque의 오른쪽에 원소를 추가한다. appendleft는 deque의 왼쪽에 원소를 추가한다. rotate를 사용하게 되면, 현재 원소들의 위치를 기준으로 argument만큼 오른쪽으로 밀게 된다. 맨 오른쪽에 도달 시 맨 왼쪽으로 돌게 된다. 여기서는 rotate(2)이므로 2칸씩 회전하는 것이다. reversed는 deque 전체를 뒤집는 것.. 공감수 3 댓글수 1 2022. 1. 28.
[Python] 2강 변수(Variable) : 변수는 값을 저장하는 장소이며, 변수는 실제로는 메모리 주소를 가지고 있고, 값을 저장해야 할 때는 그 메모리 주소에 값을 할당하는 것이다. 기본 자료형(Primitive Data Types) 함수(Function) : 반복적으로 수행할 코드의 부분을 정의해놓으면, 그 인터페이스만 간편하게 사용할 수 있다. parameter vs argument : parameter는 함수의 입력 값 인터페이스를 의미하고, argument는 실제 parameter에 대입된 값을 의미한다. Console I/O : Python에서는 주로 input()함수를 통하여 입력을 받을 수 있다. 여기서, input()을 통해 입력받은 값은 str 형태이므로, int나 float으로 바꾸려면 int() 및.. 공감수 1 댓글수 0 2022. 1. 27.
[Python] 1강 Graphic User Interface(GUI)와는 다르게, Command Line Interface(CLI)는 텍스트 기반으로 컴퓨터에 명령을 내리는 인터페이스이다. 대표적인 명령어는 다음과 같다. (기본적인 것이니 반드시 외워놓자) 앞으로 프로그래밍을 하다 보면, 리눅스 계열 명령어는 숨쉬듯이 사용할 줄 알아야 할 것이다. 명령어에 대해 조금 더 정리해본다. pwd(print working directory) : 현재 작업중인 디렉토리 출력 cd(change directory) : 현재 디렉토리 이름을 보여주거나 바꿈 여기서 알수 있는 것 : cd를 그냥 쓰면 pwd랑 다를 게 없다. cd 다음에 바로 경로가 오면 현재 디렉토리 기준으로 접근하는 것이다. 즉, 앞에 ./이 붙는 것과 다를게 없다. .. 공감수 2 댓글수 0 2022. 1. 27.
좀 늦어버린 티스토리 블로그 오픈! 작년에 학기 중에 지원한 네이버 부스트캠프 AI Tech 3기에 최종 합격하게 되었다. 최종적으로 내가 원했던 NLP 분야로 들어오게 되었다. 바로 휴학을 하고 2022년 1월 17일부터 시작을 하였는데... 귀찮아서 미루고 미루다가 1월 27일 오늘부터 비로소 이렇게 작성을 시작하게 되었다. 최소 이틀에 1번은 올리도록 노력해보자.. 공감수 4 댓글수 2 2022. 1. 27.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.