• Last time : BN

  • activations이 zero mean과 unit variance가 될수 있도록 레이어를 하나 추가하는 방법

    

  • BN 수식 : forward pass 시에 미니배치에서의 평균,표준편차를 계산해서 Normalization

    

    • 최적화를 위한 더 강력한 알고리즘

    Optimization

    • 가중치의 성능 확인방법 = 손실함수

    

    • 모델에 단순히 SGD를 돌리면 몇가지 문제가 발생함
    1. 손실함수가 타원형으로 생긴 환경에서 SGD는 지그재그형태의 비효율적인 탐색을 하게됨
       • gradient의 방향이 고르지 못하기 때문
       • 이러한 문제는 고차원 공간에서 빈번하게 발생( 실제 가중치는 매우 고차원)

    

    1. Local Minima & Saddle Points

    

    • X축은 하나의 가중치, Y축은 Loss 라고 가정했을때
    • 위에 휘어진 손실함수에 중산에 valley가 있다. ⇒ 이때 SGD는 이지점에서 멈추게됨 ⇒ Gradient가 0이 되기 때문 ⇒ locally flat 하다 ⇒ local minima
    • 아래그림에서는 한쪽은 증가 한쪽은 감소하는 형태의 그래프에서 순간적으로 평평한 부분이 발생 ⇒ 이부분에서도 gradient가 0이 됨 ⇒ saddle point
    • 고차원의 공간에서는 이 saddle point가 매우 빈번하게 발생한다. ⇒ 고차원의 공간에서는 더 일반적으로 발생 ⇒ saddle point 지점 뿐만 아니라 그 근처지점에서도 기울기가 거의 0과 같기때문에 업데이트가 매우 느리게 진행됨.
    1. 연산량

    

    • 실제 SGD에서 loss를 계산하는 방법은 연산량이 굉장히 많다.
    • 그래서 실제로는 미니배치의 데이터만 가지고 실제 Loss를 추청함. ⇒ 이는 정확한 Loss값이라고 판단하기 어려움 ( 부정확한 추청값 ) ⇒ 노이즈가 포함되는 경우 시간이 매우 오래걸림

    SGD 안쓰고 그냥 GD쓰면? ⇒ 여전히 위의 3가지 문제가 모두 발생 ⇒ 최적화 알고리즘이 필요함

    위 문제들을 해결하는방법중에 하나? ⇒ SGD + Momentum

    SGD + Momentum

    

    • SGD에 가속도를 주는것 ⇒ 기울기가 0이 주어져도 가속도의 영향때문에 멈추지않고 계속 갈 수 있게 함.
    • vx ⇒ 가속도(velocity), rho ⇒ 마찰계수 를 추가

    

    일반 SGD가 빨간색의 형태라면 momentum을 추가했을시 파란색의 형태로 진행되어짐. ⇒ 민감한 형태의 변동(수직)은 줄여주고 덜 민감한 형태의 변동(수평)은 가속화

    Local minima, saddle point를 극복

    노이즈의 평균화

    

    빨간색이 가중치 변동 벡터, 초록색이 가속도 벡터 일때 실제로는 파란색으로 가중치가 업데이트되어짐.

    현재지점에서 gradient 계산 ⇒ velocity와 섞음

    

    • Nesterov momentum은 먼저 velocity 방향으로 움직임 ⇒ 그지점에서의 gradient를 계산하고 다시 원점으로 돌아가 둘을 합침
    • Convex optimization(볼록 최적화?)문에에서 뛰어난 성능
    • 그러나 NN과 같은 non-convex problem에서는 성능이 보장되지 않음.

    velocity의 초기값은 항상 0 ⇒ 이전 gradients의 weight sum이 velocity임.

    AdaGrad

    

    훈련도중 계산되는 gradients를 활용하는 방법

    velocity term 대신 grad squared term을 이용

    • 학습도중 계산되는 gradient에 제곱을 해서 계속 더해줌 ⇒ update할때 앞서 계산한 gradient 제곱 항으로 나눠줌

    

    • 문제점 : Adagrad는 학습이 학습 횟수 t가 계속 늘어나서 학습이 계속 진행되면 어떻게 될까? ⇒AdaGrad는 step 을 진행할수록 값이 점점 작아짐 ⇒ grad_squared가 계속해서 더해져서 값이 점점 증가하게 되는거고 ⇒ Step size인 x가 점점 네모박스(분모)의 큰값으로 나눠져서 점점 더 작은값이 되어짐.
    • 즉 처음에 올바른 지점으로 접근할 때 속도가 빨랐다가 점점 느려짐
    • 손실함수가 convex한 경우에는 좋은 특징이 될 수 있지만 non-convex할때는 saddle point에 걸려 멈춰버릴수도있어 문제가 된다. ⇒ (NN에서는 AdaGrad를 잘 안쓴다고 합니다. -0-)

    RMSProp

    위의 AdaGrad의 문제를 개선시킨 방법

    

    • RMSProp은 AdaGrad의 제곱항을 그대로 사용하되, 단순이 더하지않고 파란색상자와 같이 decay_rate를 곱해준다( 0.9 ~ 0.99)
    • grad_squared은 현재 값에 (1-dacay_rate)를 곱해줘서 더함
    • 나머지는 AdaGrad와 유사, decay_rate로 step의 속도를 조절할 수 있음.

    momentum계열과 ada계열 두가지에 대해 배웟는데 이 둘을 합친 모델 Adam이 있다.

    Adam

  

• Adam은 first moment와 second moment를 이용해 이전의 정보를 유지시킨다.

• 근데 이렇게 두개를 연달아 사용할 경우 근데 초기 step에서 문제가 발생한다고 한다.

• 식을 보면 first_moment와 second_moment가 0이다. 근데 second_moment를 1회 update하고 났을 때 beta2는 decay_rate이니까 0.9 또는 0.99로 1에 가까운 수이다. 그렇기 때문에 1회 update 이후에 second moment는 여전히 0에 가깝다. 이후 update step에서 second_moment로 나누게 되는데 나눠주는 값이 작다보니까 분자가 커져서 값이 튈 수도 있다고 한다. 값이 크면 step이 커져서 이상한 곳으로 튀어버릴 수도 있다.

• 이를 해결하기 위해 Bias correction을 추가하면 해결됨.

• Adam은 momentum과 RMSprop 두개의 특성을 모두 가지고있어 기본적으로 아주 많이 사용되는 optimization이라고 합니다.........

• 그래도 Adam은 문제가 없진 않다... 회전이 안되서 기울어진 타원 모양에서는 수평/수직 축으로면 늘렸다 줄였다 하기때문에 ⇒ 그렇다고 한들 다른 알고리즘도 다룰수 없는 문제다

지금까지 모든 Optimization 알고리즘은 Learning rate라는 하이퍼파라미터를 가지고 있었다.