기상 기후 강의 노트

Anaconda Prompt 에서 jupyter notebook --generate-config 설정을 했음에도 사용자 지정 주피터 노트북 경로가 작동 안 될 때 아래 방법으로 간단 해결

1. Jupyter Notebook 아이콘에서 속성 열기

2. 대상(T)에서 %USERPROFILE% 삭제 후, 원하는 폴더 경로 입력. 

3. 시작 위치(S) %HOMEPATH% 경로 제거

4. Jupyter notebook 실행해서 확인.

GPU가 2개인데, CPU 에서도 작업을 수행하게 해서 3개 작업을 동시에 분업시키는 방법

1. 듀얼 GPU 설정하는 방법은 아래 링크 참고. 

2. 기본적으로 케라스가 GPU를 인식에서 이용하기 때문에, 아래 명령어를 추가해 주면 CPU를 사용한다. 

import os
os.environ["CUDA_VISIBLE_DEVICES"] = ""

from keras import backend as K
with K.tf.device('/cpu:0'):
    classifier = Sequential()
    classifier.add(Dense(units = 13, activation = 'relu'))
    classifier.add(Dense(units = 1, activation = 'sigmoid'))
    classifier.compile(optimizer = 'adam', loss = 'binary_crossentropy', metrics = ['accuracy'])

따라서, GPU 2개 CPUs 1개 돌려서 총 3개의 작업을 동시에 할 수 있다. 

Dual GPU 사용시 NVLink 등으로 묶거나 상호 교차 계산(multi-tasking) 하지 않고, 두 개의 프로그램을 각각 다른 GPU에서 독립적으로 분업으로 실행시키고자 할 때의 환경을 만드는 방법이다. 

1. Anaconda prompt 에서 가상환경 만들기

여기서는 gpu_0와 gpu_1 두 개의 가상환경을 만든다. 

• 아래 그림 처럼 (base) conda create -n gpu_0 실행
• Proceed [y]
• gpu_1에 대해서도 (base) conda create -n gpu_1 도 실행 

2. 각각 가상환경에서 커널 연결

각 가상환경(gpu_0, gpu_1)에서 아래 명령어 실행

python -m ipykernel install --user --name [가상환경 이름] --display-name "[커널이름]"

만약, 아나콘다 가상 환경에 주피터 노트북 등의 패키지를 설치할 때는 pip 대신 conda를 사용해야 합니다. 만약 pip를 사용하면 ~/Anaconda3/Lib/site-packages 에 패키지가 저장되므로 주의.

3. jupyter notebook 에서 생성된 커널 확인

아래 그림 처럼,Kernal > Change kernel 에서 GPU_0, GPU_1 생성된 것을 확인 

커널 삭제 방법

(gpu_0) jupyter kernerlspec uninstall gpu_0

4. 파이썬 프로그램에서 각 커널이 따로 사용할 GPU 번호 지정

각 가상 커널에서 GPU 사용할 GPU 번호를 지정해 준다.

5. GPU에서 실제 작동 여부 확인

아래 그림과 같이, 현재 GPU 전용 메모리는 둘 다 사용되지 않고 있음. 

딥러닝 코드 실행

아래 그림 처럼, 각 GPU가 따로 돌아가는 것을 볼 수 있음.

6. 분업 속도 확인 

본 예제에서는 아래 그림처럼 각자 4초 정도 시간이 소요되었다. 

주의:

각각의 가상환경으로 설정하지 않거나 설정이 잘 못 된 경우, 계산 도중 예전 데이터를 Disk에 Overwrite 할 것인지 Reload 할 것인지 계속 묻는다. 이는 하나의 가상환경에서 두개의 GPU를 따로 지정해서는 분업이 이루어지지 않는 상태라는 말임. 

링크:

딥러닝 TensorFlow-GPU 설정 방법은 아래 링크를 참조

1. jupyter notebook --generate-config 실행

2. 아래 디렉토리를 찾아 파일 열기

3. 아래 문장을 찾아서 원하는 디렉토리 넣어주고 저장. 

한방에 99.9% 정확도, 오차<1% 나올리가 있나? 

accuracy의 변동성이 있긴해도 99.9%... 

좋아할 게 아니라, 상당히 의심스러운데

뭘 잘 못했는지 고민해봐야...

missing-data 를 너무 평균값으로 넣었나?

코드내용:

[0,1] 분류

>>> X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

>>> X_train.shape
(48456, 13)
>>> y_train.shape
(48456,)
>>> X_test.shape
(20767, 13)
>>> y_test.shape
(20767,)

>>> classifier.add(Dense(units = 13, activation = 'relu'))
>>> classifier.add(Dense(units = 1, activation = 'sigmoid'))
>>> classifier.compile(optimizer = 'adam', loss = 'binary_crossentropy', metrics = ['accuracy'])

>>> classifier.fit(X_train, y_train, batch_size=batch_size, epochs=epochs, validation_data=(X_test, y_test))

결과:

>>> print("Best Accuracy on training set = ", max(history.history['accuracy'])*100)
Best Accuracy on training set =  99.94015097618103
>>> print("Best Accuracy on test set = ", max(history.history['val_accuracy'])*100)
Best Accuracy on test set =  99.99518394470215

>>> print("Loss on training set = ", max(history.history['loss']))
Loss on training set =  0.3780692219734192
>>> print("Loss on test set = ", max(history.history['val_loss']))
Loss on test set =  0.018711965531110764

TensorFlow-GPU 버전을 사용하려면, 아래 링크 설명을 따라 먼저 GPU에 맞는 드라이버를 먼저 설치해야 함. 본 문서만으로는 TensorFlow-CPU 버전을 사용할 수 있음.

1. 아나콘다 (Anaconda) 설치

• https://www.anaconda.com/products/individual 방문
• 아래 그림과 같이 웹페이지 아래로 내려가서, 64-Bit Graphical Installer 클릭

• 기존 설치된 Anaconda와의 버전 충돌을 피하기 위해서, 아래 그림과 같이 체크박스 2개 모두 체크 후 Install 클릭

• 시작버튼 > Anaconda Prompt 클릭

• 아래와 같이 conda 와 python 버전 확인

2. TensorFlow-GPU 설치

• (base) C:\Users\chpark> conda list 실행
• 아래와 같이 tensorflow가 설치 안되어 있는 것을 확인

• 각 자의 개발환경에 따라서, 본 문서의 예시 처럼 (base)가 아닌 가상 개발 환경 위에서 설치할 수 있음.
• (base) C:\Users\chpark> pip install tensorflow-gpu 실행
• 주의! conda install tensorflow-gpu 사용하지 말 것
• 만약 cpu만 사용한다면, (base) C:\Users\chpark> pip install tensorflow 실행
• (base) C:\Users\chpark> pip list 실행
• 아래 그림과 같이 설치됨.

TensorFlow-CPU 설치의 경우, 아래 내용은 필요 없음.

3. TensorFlow-GPU 인식 유무 확인 

아래 코드 실행

       (base) python

       >>> import tensorflow
       >>> from tensorflow.python.client import device_lib
       >>> print(device_lib.list_local_devices())

• 아래 그림과 같이 나오면 성공! 이제 TensorFlow-GPU 사용할 수 있음. 

이후, pip 명령어로 원하는 라이브러리를 깔아서 사용하면 됨. 

만약 tensorflow-gpu가 작동하지 않으면, 새로 다 설치할 필요없이 수리할 수 있는 방법을 아래 링크를 통해 참고하시길.

TensorFlow-GPU 버전을 사용하기 위한 시스템 구축을 설명하고 있음.

TensorFlow-CPU 버전의 경우, 바로 아래 문서로 가서 Anacona 설치부터 하면 됨.

1. 하드웨어 요구사항 확인

1.1. 현재 설치된 NVIDIA GPU 카드와 드라이버 버전 확인

• 현재 설치된 그래픽 카드 확인. (본 문서에서는 NVIDIA Quadro RTX 6000 기준)
• NVIDIA 제품만 가능

• 윈도우 설정>앱 열어 그래픽 카드 버전 확인
• 현재 설치된 NVIDIA 버전은 462.31

1.2. Tensorflow 요구사항 확인

• 텐서플로 웹페이지 방문 (https://www.tensorflow.org/install/gpu) CUDA 지원 GPU 카드 클릭
• https://developer.nvidia.com/cuda-gpus 로 이동

• CUDA-Enabled NVIDIA Quadro and NVIDIA RTX 클릭하면 시스템별 capability가 나옴.
• 현재 그래픽 카드는 사용 가능함 (목록에 그래픽 카드가 없으면 딥러닝에 활용할 수 없음)

2. 소프트웨어 요구사항 확인

2.1. NVIDIA GPU 드라이버 버전 확인

• 다시 Tensorflow 웹페이지에서 NVIDIA GPU드라이버 - CUDA 11.2에는 450.80.02 이상이 필요합니다 확인
• 현재 설치된 NVIDIA 버전은 462.31이므로 사용 가능함.
• 만약 현재 설치된 드라이버 버전이 낮다면, NVIDIA GPU드라이버 클릭, https://developer.nvidia.com/cuda-gpus 로 이동.
• 그래픽 카드 종류 세팅하고 "SEARCH" 클릭해서 최신 버전 드라이버 다운받고 설치해야함 (버전은 R470 U6 (472.47)형태로 표기하고 있음)

2.2. CUDA 설치

• 다시 Tensorflow 웹페이지에서 CUDA Toolkit 클릭
• https://developer.nvidia.com/cuda-toolkit-archive 로 이동

• CUDA Toolkit 11.4.3 Versioned Online Documentation 클릭

• Installation Guide Windows 클릭

  

• 아래 문서에서, CUDA 11.4가 Window10을 지원함을 확인
• Compiler 는 Visual Studio 2019 16.x 를 사용해야함

3. 소프트웨어 설치

• Visual Studio -> CUDA -> cuDNN 순서로 설치.

3.1. Visual Studio 2019 설치

• https://visualstudio.microsoft.com/ko/downloads/ 방문
• 아래 그림에서 릴리스 정보 클릭

3.2. CUDA 설치 (버전 11.4.3)

• 다시 https://developer.nvidia.com/cuda-toolkit-archive 에서, CUDA Toolkit 11.4.3 클릭

• 아래 페이지에서 CUDA Toolkit 11.4 Update 3 다운로드 (cuda_11.4.3_ win10.exe)
• 다운받은 파일을 관리자 권한으로 실행.
• 설치하면, 재부팅하라고 함.

3.3. cuDNN 설치

• CUPTI 는 CUDA Toolkit과 함께 제공되므로 설치 필요 없음.
• 다시 아래 페이지에서 cuDNN 버전 클릭

• CUDA 11.4.3 을 다운받았으므로, cuDNN v8.2.4 [September 2nd, 2021] for CUDA 11.4 클릭
• 아래와 같이 cuDNN Library for Windwos (x64) 클릭 

• 다운 받은 zip 파일 압축풀면 cuda 폴더 아래 bin, include, lib 3개 폴더를 복사하여, C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4 에 덮어쓰기.

• 시스템 환경 변수 편집 > 고급 > 환경변수 클릭CU

• 아래 그림과 같이 CUDA_PATH 가 설정되어 있는지 확인
• 없으면, 아래와 같이 추가한다.

이후 아래 문서를 따라 Anaconda 를 설치하고 TensorFlow GPU 동작 여부를 확인한다.

에러:

>>> df.loc[df['Vis'] <= 100, "flag"] = "1"
>>> df.loc[df['Vis'] > 100, "flag"] = "2"

>>> (중략)

>>> d = df.values

>>> (중략)

>>> history=classifier.fit(X_train, y_train, batch_size = 5, epochs = 300, validation_data=(X_test, y_test))
ValueError: Failed to convert a NumPy array to a Tensor (Unsupported object type float).

원인:

데이터가 float 뿐만 아니라 object가 섞여 있다. 

numpy 는 오로지 숫자만 취급한다. pandas는 섞여 있어도 된다. 

따라서, 데이터 전처리 시, 이미 df['Vis'] 를 0, 1로 바꾸고 number로 변환시킨 후, 데이터를 불러서 처리해야 한다. 

해결:

아래와 같이 문장 수정 후 성공

>>> df.loc[df['Vis'] <= 100, "flag"] = pd.to_numeric(1)
>>> df.loc[df['Vis'] > 100, "flag"] = pd.to_numeric(0)

Vulcan wrfinput_d03 (plus 3day 1hr)

1. Feng's emission과 비교하면서, Vulcan 의 토/일 피크를 찾음.

일요일: 오전 피크 없음.

토요일: 이른 아침 작은 피크 (금요일 야간 활동 영향)

1. 단위: (kgCO2/m^2/s)/10**-6
2. 문제점.

시작을 2010년 5월 13일 (목) 으로 설정했으나, 요일이 맞지 않다.  ==> 재작업!!!

아래는 vulcan 에서 3day 1hr 를 더한 경우 .

 

 

 

 

 

 

Feng's wrfchemi_d03 

1. 단위: (mol km^-2 hr^-1)/10**4
2. 토/일은 morning rush hour peaks 가 없다.
3. 문제점: 요일이 안 맞다.

시작을 2011년 5월 1일 (일) 로 설정. 사실 2010년 5월1 (월) 로 해야 함.