반응형 학부 강의 노트/기상 인공지능 특론21 신경망에서 딥러닝으로 - 기울기 소실 문제 기울기 소실 문제(vanishing gradient) 출력층에서 은닉층을 역방향으로 하나씩 진행하며, 각 층(은닉층, 입력층)의 가중치를 수정하는 방법 가중치 수정을 위해서는 미분값(기울기)가 필요 층의 갯수가 늘어나면, 역전파를 통해 전달되는 기울기 값이 점점 작아져, 맨 처음층(입력층)까지 도달하지 않는 문제가 발생... 기울기 소실 문제(vanishinig gradient) 활성화 함수(시그모이드 함수)의 특징 때문에, 여러 층을 거칠 수록 기울기가 사라져서 가중치 수정이 어려워짐. 활성화 함수 1. Sigmoid 함수 미분하면 최대치가 < 1.0 따라서, 계속 곱하면 0에 수렴.... 기울기 소실 발생 2. tanh 함수 시그모이드 함수 확장형 [-1,1] 1보다 작은 값이 존재하므로, 기울기 소.. 2021. 11. 8. 퍼셉트론 - 오차 역전파 예측을 위한 순전파 신경망은 순전파 해서 결과를 예측한다. 결과 레이어에 도달하기까지 모든 레이어에서의 연산이 포함된다. 오차 역전파 (back propagation) 가중치와 바이어스를 실제로 구할 때, 신경망 내부의 가중치 수정하는 방법(딥러닝에서 가장 중요한 부분 중 하나) 경사 하강법의 확장 개념 단일 퍼셉트론에서의 오차 역전파 1. 임의의 초기 가중치를 사용하여 처음 결과값(y)을 구함. 2. 그 결과값과 참값(예상 또는 기대하는 값) 사이의 평균 제곱 오차(ε)를 구함. 3. 이 오차를 최소로 만드는 지점으로 조금씩 거슬로 이동하면서 미분... 경사 하강법 4. 미분의 기울기가 0인(0으로 수렴되는) 지점이 최적화된(수정된) 최종 가중치. 최적화의 방향은 출력층에서 시작해서 입력층... 따라서.. 2021. 11. 5. 퍼셉트론 - XOR 문제 해결(다층 퍼셉트론, 신경망) XOR 문제 해결 아래 그림과 같이 2차원 평면 공간을 3차원으로 확장해서 분류할 수 있음. 즉, 좌표 평면 변화를 적용. XOR 문제를 해결하기 위해서는 2개의 퍼셉트론을 한번에 계산할 수 있어야 하는데, 은닉층(hidden layer)를 사용하면 가능함. 다층 퍼셉트론 1. 각 퍼셉트론의 가중치(w)와 바이어스(b)를 은닉층의 노드(n)로 보냄. 2. 은닉층으로 들어온 w, b에 시그모이드 함수를 적용하여 최종 결과값을 출력함 w와 b를 구하기 위해서 행렬로 표현하면, 연습: XOR 문제 해결 아래 예제를 통해서, XOR 진리표를 구할 수 있는지 연습해 보자. 먼저 각 노드 n1, n2를 구하고, 최종 y 출력값을 계산한다. 2021. 11. 5. 퍼셉트론 - XOR (exclusive OR) 문제 진리표 컴퓨터 디지털 회로 gate 논리 AND: 둘다 1 이면 1 OR: 둘 중 하나라도 1 이면 1 XOR: 둘 중 하나만 1이면 1 분류기 퍼셉트론 XOR (exclusive OR) 문제 그림처럼, 각각 두 개씩 다른 점이 있다고 할 때, 하나의 선을 그어 색깔별로 분류하는 방법을 생각해 보자. 어떠한 한 개의 직선으로도 분류할 수 없다.... 1969년 Marvin Minsky 가 발견 XOR 문제 해결 1990년대 다층 퍼셉트론(multilayer perceptron)으로 해결 아래 그림과 같이 2차원 평면 공간을 3차원으로 확장해서 분류할 수 있음. 즉, 차원 확장과 좌표 평면 변환 이용 XOR 문제를 해결하기 위해서는 2개의 퍼셉트론을 한번에 계산할 수 있어야 함. 은닉층(hidden lay.. 2021. 11. 5. 퍼셉트론(perceptron) 다변량 함수 알고리즘 입력값(x)을 통해 출력값(y)을 구하는 다변량 회귀식은 아래와 같이 표현할 수 있음. 출력값(y)을 알려면, a1, a2, b 값을 알아야함. 입력된 x1, x2는 각각 가중치 a1, a2와 곱해지고, b가 더해진 후 로지스틱 회귀함수인 시그모이드 함수를 거쳐 1 또는 0값이 출력됨.... 퍼셉트론(perceptron) 개념 퍼셉트론 (perceptron) 1957년 프랑크 로젠블라트에 의해 고안됨. 이후 인공 신경망, 오차 역전파 등의 연구개발을 거쳐 딥러닝으로 발전됨. 인간 뇌의 뉴런의 신호 전달과 메커니즘이 유사. 뉴런과 뉴런 사이의 시냅스 연결부위가 자극(입력값) 받으면, 시냅스에서 화학물질이 나와 전위 변화를 일으킴. 전위가 임계치를 넘으면 다음 뉴런으로 신호를 전달(출력.. 2021. 11. 5. 딥러닝 수학 통계 - 로지스틱 회귀 로지스틱 회귀 (logistic regression) 참(1), 거짓(0)을 구분하는 분류 모델 로지스틱 회귀 모델을 만들어 YES or NO의 값을 출력하는 것이 딥러닝의 원리 시그모이드 함수 (sigmoid function) 이 함수를 이용해서 구해야 할 값은 ax+b (선형회귀식). 결과값(y)은 0과 1사이 a(그래프의 경사도): a가 커지면 경사가 커지고, a가 작아지면 경사가 작아진다. b(그래프의 좌우 변위): b가 크면 왼쪽, b가 작으면 오른쪽으로 그래프가 이동함 오차 공식 시그모이드 함수를 오차를 나타내는 함수로 생각하면, a, b에 따라서 오차가 변한다. a가 작아지면 오차는 무한대로 커지나, a가 커지면 오차는 0에 수렴한다. b는 너무 크거나 작을 경우, 오차가 증가한다. 시그모이.. 2021. 11. 4. 딥러닝 수학 통계 - 다중 선형 회귀 다중 선형 회귀 기온에 영향을 미치는 요소가 시간(x1)뿐 아니라 풍속(x2)도 있을 수 있다. 이 경우 하나의 종속 변수(y)에 2개의 독립변수(x1, x2)가 영향을 미치므로, 아래와 같은 식으로 표현 가능. y = a1x1 + a1x2 + b 시간(x1) 기온(y) 풍속(x2) 0 16 3 14 6 17 9 19 12 22 15 26 18 23 21 19 평균 19.5 경사 하강법을 사용하여 두 기울기 a1, a2 구함. 2021. 11. 4. 딥러닝 수학 통계 - 경사 하강법 경사하강법 (gradient descent) - 2차원 이상의 함수에서 최저점(기울기, 절편)을 찾는 방법 - 오차의 변화의 2차 함수 그래프를 만들고 적절한 학습률을 설정해 기울기가 0인 지점을 구하는 것. 방법적 알고리즘 (2차 함수) 1. X1에서 미분으로 기울기 구함 2. 구해진 기우기의 반대방향으로 얼마간 이동시킨 X2에서 미분 (기울기가 +이면 음의 방향, 기울기가 -이면 양의 방향으로 이동시킴) 3. 미분 값이 0이 될때 까지 위 과정을 반복해서 최소값을 구함. 학습률 (learning rate) - 학습율을 너무 크게 설정하면, 기울기의 부호를 바꿔 이동할 때 적절한 거리는 찾지 못해 너무 멀리 이동하면, 기울기(a)가 수렴하지 않고 발산할 수 있음. -> overshooting 학습율을 .. 2021. 11. 4. 딥러닝 수학 통계 - 선형회귀 선형 회귀법 - 독립 변수 x를 사용해 종속 변수 y의 움직임을 설명하고 예측하는 작업 - 가장 적절한 예측선을 그려내는 과정. 즉, 최적의 기울기(a), 절편(b) 찾는 과정 - 모든 점들로부터의 오차가 최소인 지점에 가장 적절한 예측선을 그림 기울기와 절편 찾는 방법 최소 제곱법 - 1차함수용 독립변수 x가 1개일때 사용 경사 하강법 - 다차함수용 독립변수 x가 2개 이상인 경우 최소 제곱법 (method of least squares) 기울기 = {(x- x평균)(y-y평균)의 합}/{(x-x평균)^2의 합} 시간 기온 예측값 0 16 3 14 6 17 9 19 12 22 15 26 18 23 21 19 평균 19.5 평균 제곱 오차 (mean square error, MSE) 오차의 합 = {(y.. 2021. 11. 4. 이전 1 2 3 다음 728x90
