반응형
예측을 위한 순전파
신경망은 순전파 해서 결과를 예측한다.
결과 레이어에 도달하기까지 모든 레이어에서의 연산이 포함된다.
오차 역전파 (back propagation)
- 가중치와 바이어스를 실제로 구할 때, 신경망 내부의 가중치 수정하는 방법(딥러닝에서 가장 중요한 부분 중 하나)
- 경사 하강법의 확장 개념
단일 퍼셉트론에서의 오차 역전파
1. 임의의 초기 가중치를 사용하여 처음 결과값(y)을 구함.
2. 그 결과값과 참값(예상 또는 기대하는 값) 사이의 평균 제곱 오차(ε)를 구함.
3. 이 오차를 최소로 만드는 지점으로 조금씩 거슬로 이동하면서 미분... 경사 하강법
4. 미분의 기울기가 0인(0으로 수렴되는) 지점이 최적화된(수정된) 최종 가중치.
최적화의 방향은 출력층에서 시작해서 입력층... 따라서 "오차 역전파"라고 부름
다층 퍼셉트론에의 오차 역전파
단일 퍼셉트론과 같은 원리이나, 은닉층의 가중치를 구해야 함.
1. 임의의 초기 가중치를 사용하여 처음 결과값(y)을 구함.
2. 그 결과값과 참값(예상 또는 기대하는 값) 사이의 평균 제곱 오차를 구함.
3. 경사 하강법을 이용하여, 오차가 작아지는(미분값이 0으로 수렴하는) 방향으로 이동시켜 가중치를 갱신함.
4. 오차가 더 이상 줄어들지 않을 때까지 (미분의 기울기가 0으로 수렴 할 때까지) 반복.
가중치 갱신의 수학적 표현
- 실제 구해야 하는 값(가중치)는 출력값의 오차(ε)를 W에 대해서 편미분한 값.
- {가중치-기울기| --> 0 일때 까지 가중치를 계속 수정하는 반복작업
728x90
반응형
