From meteorology to air pollution

Weather <- H2O phase transformation

Air pollution <- gas phase (smog) / particular matter (haze)

                      Chemical species can be considered H2O in weather

Emissions

natural and anthropogenic inorganic compounds (NOx) 

organic compounds(VOC)

Chemical transformation 

1. Photochemistry

    oxidants: OH, O3

2. Gas−phase and heterogeneous chemistry

    "non−volatile" condensed -> aerosols -> dry/wet deposition

Connection between meteorology and atmospheric chemistry

• Aerosols are the key between two areas
• Cloud formation
• Radiative transformation
• Greenhouse effects (CH4, H2O, CO2, O3, CFCs)
  
  

Atmopspheric Chemistry

1. It is related to:

• Organic chemistry (Alkane, Alkenes, Ketones, …)
• Inorganic chemistry (sulfur, nitrogen, halogen compounds)
• Physical chemistry (reaction rate, photolysis)
• Nano chemistry (aerosols)
• Biochemistry (humans, animals, plants)
• Analytical chemistry (measurements)
• Theoretical chemistry (Quantum chemistry)

2. Atmospheric radiation (scattering, absorption, cloud formation, circulations).
3. Observations from fields, lab, and satellites.

4. Numerical simulation 
5. Tropospheric chemistry 

• Urban
• remote continental
• marine chemistry

6. Stratospheric chemistry 

Chemical Processes in the atmosphere

General Oxidation Processes

여기서는 모델이 수행되는 과정에서는 에러가 없었으나, 최종 결과가 loss: NaN, accuracy:NaN, mae:NaN 등으로 나오는 경우, 필자가 찾아낸 문제해결 법이다.

지금까지 2가지 경우에 대해서 경험하였고, 다음과 같이 해결할 수 있다. 

1. 입력 데이터에 NA 가 들어있는 경우

   이때 아래와 같이 데이터 셋에서 NA를 제거해 준 다음 사용하면 된다. 

    > data.set <- na.omit(<INPUT DATA>)

    > str(data.set)

2. 활성화 함수 선택이 문제인 경우

   1번으로 해결되지 않을 때, layer_dense 내 activation 함수를 "softmax"에서 "relu"로 바꾸면 된다. single output 인 경우, softmax를 사용하면 이런 현상이 발생할 수 있다. 여기(https://github.com/keras-team/keras/issues/2134) 내용의 댓글들을 참고하시오. 

3. 입력 데이터에 Inf 가 들어있는 경우

  아래 블로그를 참조하시라. 

https://klavier.tistory.com/entry/R%EC%97%90%EC%84%9C-NAN%EC%9D%B4%EB%82%98-INF%EB%A1%9C-%EC%9D%B8%ED%95%B4-%EC%A0%9C%EB%8C%80%EB%A1%9C-%EC%BD%94%EB%93%9C%EA%B0%80-%EB%8F%8C%EC%A7%80-%EC%95%8A%EC%9D%84-%EB%95%8C-%EC%A1%B0%EC%B9%98%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95

책이나 사이트에 공개된 잘 만들어진 예제를 이용해서, 자신의 데이터에 바로 적용할 때, 필자와 같은 왕초보들은 항상, as always, as usual, 필연적으로, 반드시, 운명적으로, ....  한방에 작동하지 않고 여러가지 문제들로 인해 머리가 지끈지끈 아픈 상황과 문제가 발생할 수 있다. 아니, 발생한다.  하나하나 잡아보자. 

딥러닝 책  등에서 제공된 예제 파일들은 모두 Keras 등의 패키지 내에 포함된 예제 파일들이다. 그래서 실제 내가 만든 .csv 파일을 읽어 들이는데, 입력 포맷이 맞지 않아 헤맬 수 있다. 이런 경우, 모델이 잘 돌아가지만, input_data 값이 없다는 에러가 발생할 수 있다. 

아래와 같이 sampling 하면, 일반 책에서 사용하는 예제 파일을 읽어들이는 포맷으로 쉽게 변환된다. 아래는 13개 컬럼으로 구성된 데이터 셋의 경우의 예임. 

> set.seed(1)

   # sample 함수는 수행할 때 마다 다른 난수를 추출하기 때문에 난수를 고정시켜 같은 값이 나오도록 하기 위함이다. 

> smp = sample(1:nrow(<INPUT DATA>), nrow(<INPUT DATA>)/2) 

   # 2로 나눈 것은 절반의 데이터만 추출해서 쓰겠다는 의미

> train_data <- <INPUT DATA>[smp, 1:12]

> train_targets <- <INPUT DATA>[smp, 13]

> test_data <- <INPUT DATA>[-smp, 1:12]

> test_targets <- <INPUT DATA>[-smp, 13]

이 후 keras model을 구성하면 된다.

출처: Grouped, stacked and percent stacked barplot in ggplot2 – the R Graph Gallery (r-graph-gallery.com)

Grouped barchart

A grouped barplot display a numeric value for a set of entities split in groups and subgroups. Before trying to build one, check how to make a basic barplot with R and ggplot2.

A few explanation about the code below:

• input dataset must provide 3 columns: the numeric value (value), and 2 categorical variables for the group (specie) and the subgroup (condition) levels.
• in the aes() call, x is the group (specie), and the subgroup (condition) is given to the fill argument.
• in the geom_bar() call, position="dodge" must be specified to have the bars one beside each other.

# library library(ggplot2) # create a dataset specie <- c(rep("sorgho" , 3) , rep("poacee" , 3) , rep("banana" , 3) , rep("triticum" , 3) ) condition <- rep(c("normal" , "stress" , "Nitrogen") , 4) value <- abs(rnorm(12 , 0 , 15)) data <- data.frame(specie,condition,value) # Grouped ggplot(data, aes(fill=condition, y=value, x=specie)) + geom_bar(position="dodge", stat="identity")

Stacked barchart

A stacked barplot is very similar to the grouped barplot above. The subgroups are just displayed on top of each other, not beside.

The only thing to change to get this figure is to switch the position argument to stack.

# library library(ggplot2) # create a dataset specie <- c(rep("sorgho" , 3) , rep("poacee" , 3) , rep("banana" , 3) , rep("triticum" , 3) ) condition <- rep(c("normal" , "stress" , "Nitrogen") , 4) value <- abs(rnorm(12 , 0 , 15)) data <- data.frame(specie,condition,value) # Stacked ggplot(data, aes(fill=condition, y=value, x=specie)) + geom_bar(position="stack", stat="identity")

Percent stacked barchart

Once more, there is not much to do to switch to a percent stacked barplot. Just switch to position="fill". Now, the percentage of each subgroup is represented, allowing to study the evolution of their proportion in the whole.

# library library(ggplot2) # create a dataset specie <- c(rep("sorgho" , 3) , rep("poacee" , 3) , rep("banana" , 3) , rep("triticum" , 3) ) condition <- rep(c("normal" , "stress" , "Nitrogen") , 4) value <- abs(rnorm(12 , 0 , 15)) data <- data.frame(specie,condition,value) # Stacked + percent ggplot(data, aes(fill=condition, y=value, x=specie)) + geom_bar(position="fill", stat="identity")

Grouped barchart customization

As usual, some customization are often necessary to make the chart look better and personnal. Let’s:

• add a title
• use a theme
• change color palette. See more here.
• customize axis titles

# library library(ggplot2) library(viridis) library(hrbrthemes) # create a dataset specie <- c(rep("sorgho" , 3) , rep("poacee" , 3) , rep("banana" , 3) , rep("triticum" , 3) ) condition <- rep(c("normal" , "stress" , "Nitrogen") , 4) value <- abs(rnorm(12 , 0 , 15)) data <- data.frame(specie,condition,value) # Small multiple ggplot(data, aes(fill=condition, y=value, x=specie)) + geom_bar(position="stack", stat="identity") + scale_fill_viridis(discrete = T) + ggtitle("Studying 4 species..") + theme_ipsum() + xlab("")

Small multiple

Small multiple can be used as an alternative of stacking or grouping. It is straightforward to make thanks to the facet_wrap() function.

# library library(ggplot2) library(viridis) library(hrbrthemes) # create a dataset specie <- c(rep("sorgho" , 3) , rep("poacee" , 3) , rep("banana" , 3) , rep("triticum" , 3) ) condition <- rep(c("normal" , "stress" , "Nitrogen") , 4) value <- abs(rnorm(12 , 0 , 15)) data <- data.frame(specie,condition,value) # Graph ggplot(data, aes(fill=condition, y=value, x=condition)) + geom_bar(position="dodge", stat="identity") + scale_fill_viridis(discrete = T, option = "E") + ggtitle("Studying 4 species..") + facet_wrap(~specie) + theme_ipsum() + theme(legend.position="none") + xlab("")

처음 딥러닝을 시작할 때, 가장 편한 방법으로 설명.

예를 들어, Anaconda2 와 Anaconda3의 차이는 무엇인지 등에 대한 설명 없이 설치 방법 중심으로 설명한다. 

Anaconda는 딥러닝과 관련된 여러가지 패키지를 모두 모아놓은 것이라, 용량이 너무 크고, 초보자가 설치하기에는 자잘한 에러들이 자주 발생할 수 있다. 따라서, 가벼운 minconda3를 설치하는 것으로 처음 딥러닝을 시작하자.

여기서 다룰 내용은 아래와 같다. 

1) Minconda 설치

2) 가상환경 설정

3) tensorflow 설치

1. Anaconda3(miniconda3) 설치하기. 

https://repo.continuum.io/miniconda/에서 최신 버전을 받아도 되지만, python 버전이 명시된 파일을 다운 받자.

또한 새 버전의 python은 초보자에게 머리 아픈 설치상의 오류를 발생시킬 수도 있으니, python 3.7 버전이 탑재된 miniconda를 다운 받자. 윈도우 10 환경은 64-bit 이므로 아래 파일을 다운 받으면 된다. 

2. Minconda 설치를 수행한다. 

3. 윈도우 시작화면에서 Anacond Powershell Prompt(miniconda3)를 클릭하면, 아래와 같은 명령어 창이 뜬다. 

4. 여기서 부터 본격적인 딥러닝 환경 구축의 시작이다. 

    아래 그림과 같이 (base)>conda env list 를 실행시키면, 현재 환경(가상환경 포함)에는 base 밖에 없음을 확인할 수 있다. base에서 직접 작업하기 보다, 작업이나 프로젝트마다 다른 가상환경을 설정하는 것이 편리하다. 

5. 원하는 이름의 가상환경을 만들자. 여기서는 chpark. 생성된 뒤 마지막 설명처럼, 새로 생성된 가상환경을 활성화시키기 위해, >conda activate chpark 를 입력한다. 그러면, 맨 왼쪽에 (chpark)으로 바뀐 것을 볼 수 있다. 

6. tensorflow 설치

7. python 실행

8. python내에서 tensorflow 를 import 한다. 

이때, DLL을 발견할 수 없다는 에러가 발생하면, exit() 명령어를 쳐서 python을 종료하고, (chpark)가상환경에서 tensorflow를 제거하고 다시 버전 2.0으로 설치한다. 

9. 다시 python을 실행하여 import 를 수행하면, 제대로 작동한다. 

10. Keras 설치는 tensorflow 설치와 동일한 방법으로 수행한다. 

출처: 

https://lovetoken.github.io/r/machinelearning/keras/2018/06/02/keras_tutorial.html

예측을 위한 순전파

신경망은 순전파 해서 결과를 예측한다. 

결과 레이어에 도달하기까지 모든 레이어에서의 연산이 포함된다. 

오차 역전파 (back propagation)

• 가중치와 바이어스를 실제로 구할 때, 신경망 내부의 가중치 수정하는 방법(딥러닝에서 가장 중요한 부분 중 하나)
• 경사 하강법의 확장 개념
•  

단일 퍼셉트론에서의 오차 역전파

1. 임의의 초기 가중치를 사용하여 처음 결과값(y)을 구함.

2. 그 결과값과 참값(예상 또는 기대하는 값) 사이의 평균 제곱 오차(ε)를 구함.

3. 이 오차를 최소로 만드는 지점으로 조금씩 거슬로 이동하면서 미분... 경사 하강법

4. 미분의 기울기가 0인(0으로 수렴되는) 지점이 최적화된(수정된) 최종 가중치.

최적화의 방향은 출력층에서 시작해서 입력층... 따라서 "오차 역전파"라고 부름

다층 퍼셉트론에의 오차 역전파

단일 퍼셉트론과 같은 원리이나, 은닉층의 가중치를 구해야 함. 

1. 임의의 초기 가중치를 사용하여 처음 결과값(y)을 구함.

2. 그 결과값과 참값(예상 또는 기대하는 값) 사이의 평균 제곱 오차를 구함.

3. 경사 하강법을 이용하여, 오차가 작아지는(미분값이 0으로 수렴하는) 방향으로 이동시켜 가중치를 갱신함.

4. 오차가 더 이상 줄어들지 않을 때까지 (미분의 기울기가 0으로 수렴 할 때까지) 반복.

가중치 갱신의 수학적 표현

• 실제 구해야 하는 값(가중치)는 출력값의 오차(ε)를 W에 대해서 편미분한 값. 
• {가중치-기울기| --> 0 일때 까지 가중치를 계속 수정하는 반복작업

XOR 문제 해결

아래 그림과 같이 2차원 평면 공간을 3차원으로 확장해서 분류할 수 있음.

즉, 좌표 평면 변화를 적용.

XOR 문제를 해결하기 위해서는 2개의 퍼셉트론을 한번에 계산할 수 있어야 하는데, 은닉층(hidden layer)를 사용하면 가능함.

다층 퍼셉트론

1. 각 퍼셉트론의 가중치(w)와 바이어스(b)를 은닉층의 노드(n)로 보냄.

2. 은닉층으로 들어온 w, b에 시그모이드 함수를 적용하여 최종 결과값을 출력함

w와 b를 구하기 위해서 행렬로 표현하면, 

연습: XOR 문제 해결

아래 예제를 통해서, XOR 진리표를 구할 수 있는지 연습해 보자. 

먼저 각 노드 n1, n2를 구하고, 최종 y 출력값을 계산한다. 

진리표

컴퓨터 디지털 회로 gate 논리

AND: 둘다 1 이면 1

OR:   둘 중 하나라도 1 이면 1

XOR: 둘 중 하나만 1이면 1

분류기 퍼셉트론

XOR (exclusive OR) 문제

• 그림처럼, 각각 두 개씩 다른 점이 있다고 할 때, 하나의 선을 그어 색깔별로 분류하는 방법을 생각해 보자.
• 어떠한 한 개의 직선으로도 분류할 수 없다.... 1969년 Marvin Minsky 가 발견
•  

XOR 문제 해결

• 1990년대 다층 퍼셉트론(multilayer perceptron)으로 해결
• 아래 그림과 같이 2차원 평면 공간을 3차원으로 확장해서 분류할 수 있음.
• 즉, 차원 확장과 좌표 평면 변환 이용

• XOR 문제를 해결하기 위해서는 2개의 퍼셉트론을 한번에 계산할 수 있어야 함.
• 은닉층(hidden layer)을 가진 다층 퍼셉트론을 구현하여 가능.

다층 퍼셉트론

1. 각 퍼셉트론의 가중치(w)와 바이어스(b)를 은닉층의 노드(n)로 보냄.

2. 은닉층으로 들어온 w, b에 시그모이드 함수를 적용하여 최종 결과값을 출력함

w와 b를 구하기 위해서 행렬로 표현하면, 

연습: XOR 문제 해결

아래 예제를 통해서, XOR 진리표를 구할 수 있는지 연습해 보자. 

먼저 각 노드 n1, n2를 구하고, 최종 y 출력값을 계산한다. 

다변량 함수 알고리즘

• 입력값(x)을 통해 출력값(y)을 구하는 다변량 회귀식은 아래와 같이 표현할 수 있음.

• 출력값(y)을 알려면, a1, a2, b 값을 알아야함. 

• 입력된 x1, x2는 각각 가중치 a1, a2와 곱해지고, b가 더해진 후 로지스틱 회귀함수인 시그모이드 함수를 거쳐 1 또는 0값이 출력됨.... 퍼셉트론(perceptron) 개념

퍼셉트론 (perceptron)

• 1957년 프랑크 로젠블라트에 의해 고안됨.
• 이후 인공 신경망, 오차 역전파 등의 연구개발을 거쳐 딥러닝으로 발전됨.

• 인간 뇌의 뉴런의 신호 전달과 메커니즘이 유사.
• 뉴런과 뉴런 사이의 시냅스 연결부위가 자극(입력값) 받으면, 시냅스에서 화학물질이 나와 전위 변화를 일으킴.
• 전위가 임계치를 넘으면 다음 뉴런으로 신호를 전달(출력값 1)하고, 임계치 아래 자극이면 아무것도 하지 않음(출력값 0).... 로지스틱 회귀

• 즉, 로지스틱 회귀가 퍼셉트론의 기본 개념
• 퍼셉트론은 입력값과 활성화 함수를 사용하여 출력값을 다음 퍼셉트론으로 넘기는 단위 신경망임.

딥러닝 용어정리

가중치(weight): 기울기 a1, a2를 퍼셉트론에서는 가중치(weight)라고 하고 w1, w2으로 표기

바이어스(bias): 절편 b는 퍼셉트론에서 편향(bias)라고 함. 

가중합(weighted sum): 입력값(x)와 가중치(w)를 곱한 후 모두 더한 다음 바이어스(b)를 더한 값

활성화 함수: 0,1을 판단하는 함수. 예) 시그모이스 함수