기상 기후 강의 노트

TensorFlow-GPU 버전을 사용하기 위한 시스템 구축을 설명하고 있음.

TensorFlow-CPU 버전의 경우, 바로 아래 문서로 가서 Anacona 설치부터 하면 됨.

1. 하드웨어 요구사항 확인

1.1. 현재 설치된 NVIDIA GPU 카드와 드라이버 버전 확인

• 현재 설치된 그래픽 카드 확인. (본 문서에서는 NVIDIA Quadro RTX 6000 기준)
• NVIDIA 제품만 가능

• 윈도우 설정>앱 열어 그래픽 카드 버전 확인
• 현재 설치된 NVIDIA 버전은 462.31

1.2. Tensorflow 요구사항 확인

• 텐서플로 웹페이지 방문 (https://www.tensorflow.org/install/gpu) CUDA 지원 GPU 카드 클릭
• https://developer.nvidia.com/cuda-gpus 로 이동

• CUDA-Enabled NVIDIA Quadro and NVIDIA RTX 클릭하면 시스템별 capability가 나옴.
• 현재 그래픽 카드는 사용 가능함 (목록에 그래픽 카드가 없으면 딥러닝에 활용할 수 없음)

2. 소프트웨어 요구사항 확인

2.1. NVIDIA GPU 드라이버 버전 확인

• 다시 Tensorflow 웹페이지에서 NVIDIA GPU드라이버 - CUDA 11.2에는 450.80.02 이상이 필요합니다 확인
• 현재 설치된 NVIDIA 버전은 462.31이므로 사용 가능함.
• 만약 현재 설치된 드라이버 버전이 낮다면, NVIDIA GPU드라이버 클릭, https://developer.nvidia.com/cuda-gpus 로 이동.
• 그래픽 카드 종류 세팅하고 "SEARCH" 클릭해서 최신 버전 드라이버 다운받고 설치해야함 (버전은 R470 U6 (472.47)형태로 표기하고 있음)

2.2. CUDA 설치

• 다시 Tensorflow 웹페이지에서 CUDA Toolkit 클릭
• https://developer.nvidia.com/cuda-toolkit-archive 로 이동

• CUDA Toolkit 11.4.3 Versioned Online Documentation 클릭

• Installation Guide Windows 클릭

  

• 아래 문서에서, CUDA 11.4가 Window10을 지원함을 확인
• Compiler 는 Visual Studio 2019 16.x 를 사용해야함

3. 소프트웨어 설치

• Visual Studio -> CUDA -> cuDNN 순서로 설치.

3.1. Visual Studio 2019 설치

• https://visualstudio.microsoft.com/ko/downloads/ 방문
• 아래 그림에서 릴리스 정보 클릭

3.2. CUDA 설치 (버전 11.4.3)

• 다시 https://developer.nvidia.com/cuda-toolkit-archive 에서, CUDA Toolkit 11.4.3 클릭

• 아래 페이지에서 CUDA Toolkit 11.4 Update 3 다운로드 (cuda_11.4.3_ win10.exe)
• 다운받은 파일을 관리자 권한으로 실행.
• 설치하면, 재부팅하라고 함.

3.3. cuDNN 설치

• CUPTI 는 CUDA Toolkit과 함께 제공되므로 설치 필요 없음.
• 다시 아래 페이지에서 cuDNN 버전 클릭

• CUDA 11.4.3 을 다운받았으므로, cuDNN v8.2.4 [September 2nd, 2021] for CUDA 11.4 클릭
• 아래와 같이 cuDNN Library for Windwos (x64) 클릭 

• 다운 받은 zip 파일 압축풀면 cuda 폴더 아래 bin, include, lib 3개 폴더를 복사하여, C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4 에 덮어쓰기.

• 시스템 환경 변수 편집 > 고급 > 환경변수 클릭CU

• 아래 그림과 같이 CUDA_PATH 가 설정되어 있는지 확인
• 없으면, 아래와 같이 추가한다.

이후 아래 문서를 따라 Anaconda 를 설치하고 TensorFlow GPU 동작 여부를 확인한다.

에러:

>>> df.loc[df['Vis'] <= 100, "flag"] = "1"
>>> df.loc[df['Vis'] > 100, "flag"] = "2"

>>> (중략)

>>> d = df.values

>>> (중략)

>>> history=classifier.fit(X_train, y_train, batch_size = 5, epochs = 300, validation_data=(X_test, y_test))
ValueError: Failed to convert a NumPy array to a Tensor (Unsupported object type float).

원인:

데이터가 float 뿐만 아니라 object가 섞여 있다. 

numpy 는 오로지 숫자만 취급한다. pandas는 섞여 있어도 된다. 

따라서, 데이터 전처리 시, 이미 df['Vis'] 를 0, 1로 바꾸고 number로 변환시킨 후, 데이터를 불러서 처리해야 한다. 

해결:

아래와 같이 문장 수정 후 성공

>>> df.loc[df['Vis'] <= 100, "flag"] = pd.to_numeric(1)
>>> df.loc[df['Vis'] > 100, "flag"] = pd.to_numeric(0)

Vulcan wrfinput_d03 (plus 3day 1hr)

1. Feng's emission과 비교하면서, Vulcan 의 토/일 피크를 찾음.

일요일: 오전 피크 없음.

토요일: 이른 아침 작은 피크 (금요일 야간 활동 영향)

1. 단위: (kgCO2/m^2/s)/10**-6
2. 문제점.

시작을 2010년 5월 13일 (목) 으로 설정했으나, 요일이 맞지 않다.  ==> 재작업!!!

아래는 vulcan 에서 3day 1hr 를 더한 경우 .

 

 

 

 

 

 

Feng's wrfchemi_d03 

1. 단위: (mol km^-2 hr^-1)/10**4
2. 토/일은 morning rush hour peaks 가 없다.
3. 문제점: 요일이 안 맞다.

시작을 2011년 5월 1일 (일) 로 설정. 사실 2010년 5월1 (월) 로 해야 함.

2016 Co2_flux_0m gap-filling 결과 (5년 평균값을 단순 대입)

NA 가12091 에서 2200 으로 줄어듦.

2017 co2_flux_0m

NA 가 9629 --> 2271

1. CO2 플럭스 데이터에서 
2. 데이터 전처리 후 
3. NEE 계산하고, GEE와 Re를 분해한 이후 
4. 일평균 값을 연중 plotting 한 결과 

• 데이터 추출 전단계
• 2016-2019 30분 간격 총 자료

WRF-CO2 모델로 산출한 모델링 결과

1. CO2 배출량 맵

2. CO2 농도장