• NN 학습을처음 시작할 때 필요한 기본 설정

part1

activation functions

• 기본적인 NN 이나 CNN의 기본구조에서 층을 쌓기 위해 들어오는 입력과의 가중치와의 곱의 합에서 비선형의 활성함수를 거치게 된다.
• 여기서 활성화 함수의 종류가 있다.

1. Sigmoid

   • 제일 만만한놈 옛날꺼
   • 입력을 [0.1] 사이의 값으로 나타나게함 ⇒ 입력이 크면 1에 입력이 작으면 0에 가까워짐
   • 이진분류에 활용
   • 문제점
     1. 기울기 손실 발생
     2. zero-centered 하지 않음. ⇒ 비효율적(지그재그)으로 weight update됨
     3. 지수함수 exp로 계산량 증가.

2. tanh

   • 출력값이 [-1,1]
   • zero-centered
   • 그러나 여전히 gradient손실이 발생

3. ReLU

   • 가장 무난하게 사용되고있는 활성화 함수
   • 양의값 saturated되지 않음
   • 계산 효율 좋음(빠름)
   • 생물학적 타당성이 좋음............
   • zero-centerd하지 않음
   • 음수영역에서 0으로 saturated

4. Leaky ReLU

   • ReLU와 유사하지만 음의영역에서 0이 나오지않게 손봄
   • saturated되는 값이 없음.
   • 음의 영역에서 기울기값을 임의로 choice
   • 여전히 계산이 효율적이고 빠름

5. PReLU\

   • Leaky ReLU와 비슷하지만 기울기를 alpha로 설정
   • alpha를 Leaky ReLU 처럼 정해놓고 돌리는게 아니라 backprop으로 학습시켜 파라미터 설정

6. ELU

   • zero-mean에 가까운 철력값
   • 앞선 LU함수들이 zero-mean 출력값을 갖지 못하는거에 비해 상당한 이점.
   • 그러나 음의 영역에서 saturated가 발생
   • 노이즈에 강함.
   • 일반적으로 ReLu와 Leaky ReLU의 중간정도.

   실제로 가장 많이 쓰이고 있는 것은 ReLU Learning rate를 섬세하게 잘 다루면 매우 좋은 성과를 보임

data preprocessing

• 가장 대표적인 전처리방법은 'zero-mean'과 'normalize'하는 것 이다
• normalization을 하는 이유?
  • 모든 차원이 동일한 범위안에 있게 해 전부 동등한 contribute하게 하기 위함
• 실제로는 이미지처리에는 zero-centering 정도만 함
• CNN은 차원축소와 같은 기법을 사용하지않고 원본데이터에서 특징을 뽑아내는 정도의 처리를 수행함.
• 이미지 픽셀 평균을 빼주거나 채널의 평균을 빼주는 방법이 있다.