Optimization : gradient descent를 통하여 loss function의 local minimum을 찾아가는 과정임. 이 optimization에 여러 중요 개념들에 대해 알아보자. Generalization : model은 training data만 잘 맞추어서는 안되고, 한번도 본적 없는 test data에 대해서도 최대한 training data와 비슷하게 좋은 성능이 나와야 한다. 아래 그림과 같이 Training Error와 Test Error의 차이가 Generalization gap이다. 이 gap이 너무 크면 overfitting이다. Cross-Validation : 이름 그대로 교차하면서 Validation data를 사용하는 것이다. Validation data를 ..

Neural Networks(신경망) : 초창기에는 인간의 뇌를 모방하여 만든 계산 시스템이였다. 그러나 비행기의 예시와 같이, 현 시점에서의 Neural Network를 인간의 뇌를 모방했다고 하기에는 무리가 있을 정도로 달라지고 발전하였다. 그래서 신경망을 인간의 뇌라고 하기보다는 다음과 같이 말하는 것이 더 옳을 것 같다, 신경망은, "아핀변환과 비선형변환을 겹쳐 쌓고 쌓아서 탄생한 예측함수"라고 정의 해볼수 있다. 여기서 아핀변환은 선형변환 + 위치변환을 의미한다. 즉, 선형변환과 비선형변환이 쌓여있는 커다란 함수라고 볼 수 있을 것이다. 가장 간단한 신경망의 예시를 살펴보자. 매우매우 간단한 선형 신경망인데, x값을 하나 넣으면 y값을 예측해주는 1차함수 식이 모델이 된다. 여기서 Data는 (..

파이썬의 예외처리 : 프로그램 사용 시 발생할 수 있는 여러 오류를 처리하는 것. 예상 가능한 예외는 반드시 개발자가 사전에 정의하여 처리를 해주어야함. try ~ except 문법 : 다음과 같음. Built-in Exception : 파이썬에서 기본적으로 제공해주는 예외임. 다음과 같음. 더 자세한 예외들은 다음 링크에 정리되어 있음. https://docs.python.org/3/library/exceptions.html Built-in Exceptions — Python 3.10.2 documentation In Python, all exceptions must be instances of a class that derives from BaseException. In a try statement ..

Abstract Deep Neural Network(DNN, 깊은 신경망, 딥러닝)은 어려운 task 학습에서 완벽한 성능을 보여준 모델이다. 비록 DNN은 label이 있는 거대한 training set이 있을 때에는 좋은 성능을 보여주지만, sequence를 sequence에 mapping하는 경우에는 사용될 수가 없다. 이번 논문에서는, sequence 학습에 대한 일반적인 end-to-end 접근법을 보여준다. 그리고 이 sequence 학습에 대해서 sequence 구조에는 최소한의 가정을 하게된다. 이 논문에서 연구팀은 input sequence를 고정된 차원의 vector에 mapping시키기 위해서 여러 층의 LSTM(Long-Short Term Memory)을 사용하고, 이 vector로..

객체지향 프로그래밍(Object-Oriented Programming, OOP) : 객체(속성, 행동)의 개념을 프로그램으로 표현함. 여기서 속성(Attribute)은 변수(Variable), 행동(Action)은 함수(Method)로 표현함. OOP는 설계도에 해당하는 Class와 실제 구현체에 해당하는 Instance로 나눌 수 있다. 여기서, 네이밍에 대한 컨벤션이 있다. 주로 파이썬 함수 및 변수 명에는 snake_case를 사용하고, 파이썬 Class 명에는 CamelCase를 사용한다. 파이썬에서는 __가 붙은 함수는 특별한 함수(Magic Method)이다. 이에 대해 알아보자. 매직 메소드는 미리 정의된 메소드로, 이 메소드들을 재정의하면서 동작이 마법처럼 일어난다 하여 매직 메소드라 하였..

collections 모듈 : List, Tuple, Dict에 대한 Python Built-in 확장 자료 구조(모듈) deque : Stack & Queue를 모두 지원하는 자료구조, rotate 및 reverse 등의 Linked List에 있는 특성 역시 지원이 된다. 기존 List 형태의 함수 역시 지원이 된다. append는 일반 List에서 처럼 deque의 오른쪽에 원소를 추가한다. appendleft는 deque의 왼쪽에 원소를 추가한다. rotate를 사용하게 되면, 현재 원소들의 위치를 기준으로 argument만큼 오른쪽으로 밀게 된다. 맨 오른쪽에 도달 시 맨 왼쪽으로 돌게 된다. 여기서는 rotate(2)이므로 2칸씩 회전하는 것이다. reversed는 deque 전체를 뒤집는 것..