review

Classifier를 정의하는지 함수 f를 통해 이야기하였음.

• weight W = 파라미터
• 함수 f(x) input = x
• output = score vector

Loss function(SVM, softmax) 으로 실제값과 예측값의 차이를 score로 확인(모델의 좋고 나쁨을 판단)

• Loss function은 train set에 overfiiting을 막기위한 regularization을 포함한다.

최적의 Loss 를 갖게하는 파라미터 W를 찾는 과정

• Loss function의 파라미터 W에 대한 gradient를 찾음
• gradient가 음수인 방향, 경사가 하강하는 방향을 반복적수행하여 가장 낮은 loss값을 구할 수 있음.

Gradient를 구하는 방법

• 수학적 : 유한 차분 근사를 이용해 계산할 수 있음.

그러나 매우 일일히 하나씩 계산을 해줘야해서 느림.

그래서 Analytic gradient를사용해서 빠르게 구함. 그러나 수학적 검증이 필요