1. loss function
- 우리의 현재 classifier가 얼마나 좋은지를 말해준다.
- W가 좋은지, 안 좋은지를 판단한다.
① Multiclass SVM loss
S = f(Xi,W)
Input image를 분류한 카테고리별 정답 스코어와 스코어 s들의 차이를 기반으로 loss를 찾는 함수. Max (0,스코어 s – 정답스코어+1)
Max 함수를 이용하고, 그 차이가 음수일 경우에는 0이 출력된다.
l Loss가 0인 경우, 정답 스코어는 조금 바껴도 큰 상관 없다.
l Loss의 최솟값은 0, 최댓값은 무한대.
l W의 초기값을 작게 둬서, 모든 s가 0에 가깝고 비슷할 때는, loss가 #of class -1이 된다.
위와 같이, data loss를 linear하게 만들어 주기 위해서 Regularization(test data에 대해서 좋은 성능을 내는 weight를 찾을 수 있도록 loss function에 부가적인 term을 추가)을 거친다.
Model이 너무 복잡해져서 새로운 데이터에 대해 좋은 성능을 내지 못하는 현상을 방지하기 위해 기존의 loss에 Regularization term을 추가하여 model이 더 단순해지도록 만들어 준다.
λ는 regularization을 얼마나 줄 것인지를 나타내는 hyperparameter입니다. 즉, 이 값이 클수록 모델이 더 단순해지도록 강력하게 규제하고, 이 값이 작을수록 모델이 더 단순해지도록 규제하는 것이 적어집니다.
Regularization의 방법은 여러가지가 있으며, 대표적으로는 L2 Regularization을 많이 사용한다.
② Softmax Classifier
- Loss를 -log에 취해서 구하는 방법.
- 우리가 지금까지 구했던 class score를 그대로 쓰지 않고, 새로운 방법을 이용해서 처리해줌으로써 class score에 의미를 부여하려는 시도
- 원하는 class score / 전체 class score의 형태 = 해당 class가 선택될 확률 (x가 1에 가까울수록 좋고, 그에 따른 loss는 0에 가까워야함
정답 class가 선택될 확률이 1에 가까워지도록, 정답이 아닌 class가 선택될 확률이 0에 가까워지도록 weight를 조절하는 특징을 지니고 있다.
2. Optimization
: 어떻게 최적의 Weight를 찾을 것인가?
=> Loss가 0에 가까운 weight를 찾자!
Strategy #1 : Random search
수 많은 weight 중에서 랜덤으로 하나를 샘플링하고, 이를 loss function에 집어넣어서 해당 weight가 얼마나 잘 예측하는지를 보는 것.
Strategy #2 : follow the lope
=> Gradient(함수가 가장 크게 상승하는 방향)를 사용하자!
Gradient를 계산하는 방법
l Numeric Gradient
Lim을 포함한 정식 미분식에 대입하여 계산, 시간이 오래 걸림
l Analytic gradient
SGD
: Gradient를 계산할 때 minibatch라고 하는 일부 데이터만 이용해서 계산해주고 이를 반복해서 계산해 전체 데이터에 대한 Gradient값의 추정치를 계산하는 방법
원리 : random 값으로 초기화해준 W에 대한 loss를 계산하고, loss function에서 기울기가 0인 부분, 즉 loss가 최소인 부분을 W의 gradient의 반대방향으로 가면서 찾아낸다.
-> 결국 loss가 최소인 W를 찾아낼 수 있다.
'비전딥러닝 > cs231n' 카테고리의 다른 글
| Lecture 6. Training Neural Networks, part I (0) | 2022.09.18 |
|---|---|
| Lecture 5. Convolutional Neural Networks (0) | 2022.09.18 |
| Lecture 4. Introduction to Neural Networks (2) | 2022.09.16 |
| Lecture 2. Image Classification (0) | 2022.09.16 |
| Lecture1. Introduction to Convolutional Neural Networks for Visual Recognition (1) | 2022.09.16 |