[DL Basic] 3강 Optimization

Optimization : gradient descent를 통하여 loss function의 local minimum을 찾아가는 과정임. 이 optimization에 여러 중요 개념들에 대해 알아보자. Generalization : model은 training data만 잘 맞추어서는 안되고, 한번도 본적 없는 test data에 대해서도 최대한 training data와 비슷하게 좋은 성능이 나와야 한다. 아래 그림과 같이 Training Error와 Test Error의 차이가 Generalization gap이다. 이 gap이 너무 크면 overfitting이다. Cross-Validation : 이름 그대로 교차하면서 Validation data를 사용하는 것이다. Validation data를 ..

2022.02.07