본문 바로가기

분류 전체보기614

퍼셉트론 - XOR (exclusive OR) 문제 진리표 컴퓨터 디지털 회로 gate 논리 AND: 둘다 1 이면 1 OR: 둘 중 하나라도 1 이면 1 XOR: 둘 중 하나만 1이면 1 분류기 퍼셉트론 XOR (exclusive OR) 문제 그림처럼, 각각 두 개씩 다른 점이 있다고 할 때, 하나의 선을 그어 색깔별로 분류하는 방법을 생각해 보자. 어떠한 한 개의 직선으로도 분류할 수 없다.... 1969년 Marvin Minsky 가 발견 XOR 문제 해결 1990년대 다층 퍼셉트론(multilayer perceptron)으로 해결 아래 그림과 같이 2차원 평면 공간을 3차원으로 확장해서 분류할 수 있음. 즉, 차원 확장과 좌표 평면 변환 이용 XOR 문제를 해결하기 위해서는 2개의 퍼셉트론을 한번에 계산할 수 있어야 함. 은닉층(hidden lay.. 2021. 11. 5.
퍼셉트론(perceptron) 다변량 함수 알고리즘 입력값(x)을 통해 출력값(y)을 구하는 다변량 회귀식은 아래와 같이 표현할 수 있음. 출력값(y)을 알려면, a1, a2, b 값을 알아야함. 입력된 x1, x2는 각각 가중치 a1, a2와 곱해지고, b가 더해진 후 로지스틱 회귀함수인 시그모이드 함수를 거쳐 1 또는 0값이 출력됨.... 퍼셉트론(perceptron) 개념 퍼셉트론 (perceptron) 1957년 프랑크 로젠블라트에 의해 고안됨. 이후 인공 신경망, 오차 역전파 등의 연구개발을 거쳐 딥러닝으로 발전됨. 인간 뇌의 뉴런의 신호 전달과 메커니즘이 유사. 뉴런과 뉴런 사이의 시냅스 연결부위가 자극(입력값) 받으면, 시냅스에서 화학물질이 나와 전위 변화를 일으킴. 전위가 임계치를 넘으면 다음 뉴런으로 신호를 전달(출력.. 2021. 11. 5.
딥러닝 수학 통계 - 로지스틱 회귀 로지스틱 회귀 (logistic regression) 참(1), 거짓(0)을 구분하는 분류 모델 로지스틱 회귀 모델을 만들어 YES or NO의 값을 출력하는 것이 딥러닝의 원리 시그모이드 함수 (sigmoid function) 이 함수를 이용해서 구해야 할 값은 ax+b (선형회귀식). 결과값(y)은 0과 1사이 a(그래프의 경사도): a가 커지면 경사가 커지고, a가 작아지면 경사가 작아진다. b(그래프의 좌우 변위): b가 크면 왼쪽, b가 작으면 오른쪽으로 그래프가 이동함 오차 공식 시그모이드 함수를 오차를 나타내는 함수로 생각하면, a, b에 따라서 오차가 변한다. a가 작아지면 오차는 무한대로 커지나, a가 커지면 오차는 0에 수렴한다. b는 너무 크거나 작을 경우, 오차가 증가한다. 시그모이.. 2021. 11. 4.
딥러닝 수학 통계 - 다중 선형 회귀 다중 선형 회귀 기온에 영향을 미치는 요소가 시간(x1)뿐 아니라 풍속(x2)도 있을 수 있다. 이 경우 하나의 종속 변수(y)에 2개의 독립변수(x1, x2)가 영향을 미치므로, 아래와 같은 식으로 표현 가능. y = a1x1 + a1x2 + b 시간(x1) 기온(y) 풍속(x2) 0 16 3 14 6 17 9 19 12 22 15 26 18 23 21 19 평균 19.5 경사 하강법을 사용하여 두 기울기 a1, a2 구함. 2021. 11. 4.
딥러닝 수학 통계 - 경사 하강법 경사하강법 (gradient descent) - 2차원 이상의 함수에서 최저점(기울기, 절편)을 찾는 방법 - 오차의 변화의 2차 함수 그래프를 만들고 적절한 학습률을 설정해 기울기가 0인 지점을 구하는 것. 방법적 알고리즘 (2차 함수) 1. X1에서 미분으로 기울기 구함 2. 구해진 기우기의 반대방향으로 얼마간 이동시킨 X2에서 미분 (기울기가 +이면 음의 방향, 기울기가 -이면 양의 방향으로 이동시킴) 3. 미분 값이 0이 될때 까지 위 과정을 반복해서 최소값을 구함. 학습률 (learning rate) - 학습율을 너무 크게 설정하면, 기울기의 부호를 바꿔 이동할 때 적절한 거리는 찾지 못해 너무 멀리 이동하면, 기울기(a)가 수렴하지 않고 발산할 수 있음. -> overshooting 학습율을 .. 2021. 11. 4.
딥러닝 수학 통계 - 선형회귀 선형 회귀법 - 독립 변수 x를 사용해 종속 변수 y의 움직임을 설명하고 예측하는 작업 - 가장 적절한 예측선을 그려내는 과정. 즉, 최적의 기울기(a), 절편(b) 찾는 과정 - 모든 점들로부터의 오차가 최소인 지점에 가장 적절한 예측선을 그림 기울기와 절편 찾는 방법 최소 제곱법 - 1차함수용 독립변수 x가 1개일때 사용 경사 하강법 - 다차함수용 독립변수 x가 2개 이상인 경우 최소 제곱법 (method of least squares) 기울기 = {(x- x평균)(y-y평균)의 합}/{(x-x평균)^2의 합} 시간 기온 예측값 0 16 3 14 6 17 9 19 12 22 15 26 18 23 21 19 평균 19.5 평균 제곱 오차 (mean square error, MSE) 오차의 합 = {(y.. 2021. 11. 4.
딥러닝 수학 통계 - 선형과 비선형성 자연을 이해하기 위한 과학적 접근법 1) 선형화 2) 정량화 선형 함수 선형함수: 1차함수로 표현되는 변량간의 관계 자연세계는 기본적으로 비선형 세계 인간의 인지 능력은 선형적, 즉 1차원적, 직관적 복잡한 비선형계의 데이터는 선형화가 필요... 1차선형회귀 이 경우, 오차가 발생하므로, 통계학의 확률분포 해석이 필요 비선형 함수 만약 설명력을 높이기 위해서는 다차 회귀함수가 필요 비선형의 불확실성 비선형 함수에서는 1개 결과값 Y의 원인자는 차수에 따라 그 수가 늘어남. 즉, 알고 있는 관측/관찰 결과의 원인은 차원에 따라 명확히 알 수가 없다. AI 불확실성과 한계 절대 인간이 될 수 없는 AI AI 인간과 공존하는 지식 2021. 11. 4.
딥러닝 수학 통계 - 함수와 미분 딥러닝을 이해하는데 가장 중요한 수학원리는 "미분" 1차 함수의 기울기와 절편 기울기와 절편 2차함수의 최소값 미분=순간 변화율 미분으로 함수의 최소값을 구함. 어느 순간에 어떤 변화가 일어나고 있는지를 숫자로 나타낸 것을 "미분 계수" = 그래프의 기울기 기울기가 0인 지점이 최소값 지점. 딥러닝에서는 최소값을 찾아내는 과정이 매우 중요. 1차함수의 경우, 수학적으로는 최소 제곱법으로 간단히 찾을 수 있음. 딥러닝이 필요한 다차함수의 경우, 미분과 기울기를 이용하는 경사 하강법을 사용. 연속함수와 이산함수 미분과 차분 아날로그와 디지털 2021. 11. 4.
연역법과 귀납법 진리탐구 방법 (연역법, 귀납법) 기적에 대한 차원적 접근 1차원 세계 1, 2차원 세계 1,2,3차원 세계 고차원 존재의 일상은 저차원 존재에게 기적 신 존재에 대한 추론 1. 외계인? 2. 자기 현현의 보편성 유물론 vs. 유신론 인간 인식 방법의 한계로 인해, 두 가지 인식 방법을 모두 포함한 균형잡힌 자세가 필요 분쟁, 전쟁, 착취, 이기주의 2021. 11. 4.
머신 러닝과 딥러닝의 역사 (간단요약) 머신러닝 딥러닝은 분류와 회귀 문제 해결을 위한 도구(모델) 예) 개 고양이 분류 1. 확률적 모델링 (probabilistic modeling) 통계학 이론을 빅데이터 분석에 응용한 것 초창기 머신 러닝 형태 중 하나 대표적인 모델 알고리즘은 나이브 베이즈 알고리즘 1.1 나이브 베이즈(Naive Bayes) 입력 데이터가 모두 독립이라 가정하고, 베이즈 정리(Bayes' theorem)을 적용하는 머신 러닝 분류 알고리즘 분류 알고리즘 1.2 로지스틱 회귀(logistic regression) 분류 알고리즘 (회귀 알고리즘 아님) 2. 초창기 신경망 - 1980년대 경사 하강법 최적화를 이용하여 변수가 연쇄적으로 연결된 연산을 훈련하는 기법 1989년 Yann LeCun이 합성곱 신경망과 역전파 알고.. 2021. 11. 4.
텐서플로 에러 ImportError: cannot import name 'rmsprop' from 'keras.optimizers' 에러 메세지 ImportError: cannot import name 'rmsprop' from 'keras.optimizers' 코드 >>> from keras.optimizers import RMSprop 해결 아래 문장으로 바꿔 >>> from tensorflow.keras.optimizers import RMSprop 2021. 11. 4.
텐서플로 에러 KeyError: 'val_loss' 에러 KeyError: 'val_loss' 코드 >>># from keras.optimizers import RMSprop >>>from tensorflow.keras.optimizers import RMSprop >>>model = Sequential() >>>model.add(layers.Flatten(input_shape=(lookback // step, float_data.shape[-1]))) >>>model.add(layers.Dense(32, activation='relu')) >>>model.add(layers.Dense(1)) >>>model.compile(optimizer=RMSprop(), loss='mae') >>>history = model.fit_generator(train_ge.. 2021. 11. 4.
텐서플로 에러 KeyError: 'acc' 에러 KeyError: 'acc' 코드 y_acc 에 학습 셋으로 측정한 정확도의 값을 저장하기 >>> y_acc=history.history['acc'] 원인 tensorflow 버전에 따른 함수명 변경 해결 >>> y_acc=history.history['accuracy'] 로 변경 (TF 2.3.0 이상) 2021. 11. 4.
텐서플로 에러 AttributeError: module 'tensorflow' has no attribute 'set_random_seed' 코드 >>>seed = 0 >>>numpy.random.seed(seed) >>>tf.set_random_seed(seed) AttributeError: module 'tensorflow' has no attribute 'set_random_seed' 에러 내용 AttributeError: module 'tensorflow' has no attribute 'set_random_seed' 원인 Tensorflow 버전에 따라 명령어 교체 해결 >>> tf.random.set_seed(seed) 으로 변경 2021. 11. 4.
Tensorflow GPU 작동하지 않을때, 재설치 없이 수리하는 법 본 문서는 NVIDIA 그래픽 카드와 Anaconda를 설치했음에도 tensorflow_gpu가 작동하지 않은 경우, 모든 설치 앱을 갈아없지 않고 수리하는 방법을 정리한 것임. 처음부터 제대로 설치하고자 할 경우, 아래 링크 문서를 참조하시오. 쉬운 TensorFlow GPU 딥러닝 개발 환경 구축 1 (윈도우) TensorFlow-GPU 버전을 사용하기 위한 시스템 구축을 설명하고 있음. TensorFlow-CPU 버전의 경우, 바로 아래 문서로 가서 Anacona 설치부터 하면 됨. TensorFlow GPU 딥러닝 개발 환경 구축 2 (윈도우) TensorFlo.. aeir.tistory.com 증상 아래 그림에서 CPU만 인식한다. 몇 번 재설치해 보다가 수정하는 방법의 노하우를 기록. 방법 1.. 2021. 11. 4.
도시 도로 구조 변경해야 될 사항들 도로 코너는 건물을 10m 이상 이격을 가지고 짓도록 해야 한다. 시야확보를 통한 교통안전, 소방차등의 대형차 진입 편의성과 갑갑한 도시미관 개선 때문이다. 초등학교 주변에는 정차할 수 있는 extra 쪽차로를 만들어야 한다. 자동차로 등하교 시키는 학부모와 학원차들이 즐비하기 때문이다. 초등학교 주변 도로 바닥은 소음유발시키는 소재로 하고, 차선도 지그재그로 긋고, 신호등/경고등도 항시 여러개 돌아가야 한다. 보도가 확보되지 않은 곳에는 재건축을 금지하고, 재건축하려면 보도를 확보하도록 100% 강제하여야 한다. 2020. 10. 21.
과학영재원 강의 5월 13일 연구주제 탐색 2020. 6. 3.
과학영재원 강의 5월 9일 첫 모임 2020. 6. 3.
영재원 :: 중등지구과학 사사과정 (2019) 토양 매질 온도 차이와 도시 열섬과의 관계 김O아 (한바다중학교 2학년) 방O연 (해운대여자중학교 2학년) 이O은 (물금동아중학교 2학년) 이O나 (해운대여자중학교 2학년) 정O윤 (거제여자중학교 2학년) 초록 최근 지구온난화가 가속화되고 있는 가운데, 지구 대기의 기온을 상승시키는 원인을 발견하고, 기온 상승을 완화 시킬 수 있는 해결방안을 찾는 것은 매우 중요한 연구주제이다. 지구온난화의 여러 요인들 중, 도시화로 인한 인공피복의 비율이 높아지면서 도시열섬현상이 가속화되고 있고, 지구의 대기 온도를 상승시키고 있다. 이에 본 연구에서는 도시열섬현상의 원인으로 예상되는 인공피복 중, 아스팔트, 콘크리트, 나지, 잔디 등의 다양한 토양매질에서의 지표면 및 상부의 온도 차이를 측정하여, 각각의 토양매질이 .. 2020. 5. 1.
한과영 :: 2018-1학기 평가 (비공개) 보호되어 있는 글 입니다. 2020. 4. 24.

티스토리툴바