기상 기후 강의 노트

윈도우즈 상에서 무료 포트란 컴파일러 설치하는 방법

MinGW, CygWin 등을 사용할 수 있으나, 여기서는 간단할 설치로 유명한 TDM-GCC를 설치하는 방법을 설명함. 

Gfortran 은 GNU 라이센스 기번의 무료 포트란 컴파일러임. 

윈도우 상에서 Gfortran을 사용하여 프로그래밍 하는 것은 Free Intel Visual Fortran Compiler 기반으로 MS Visutal Studio 같은 윈도우용 IDE에서 작업을 수행하는 것 보다 약간 번거로울 수 있음.

하지만, 궁극적으로 배워야할 Linux 상에서 코딩하고 수행하는 과정들을 처음부터 습득할 수 있는 장점이 있음. 

Free Intel Visual Fortran Compiler 설치 방법은 아래 링크를 참조 .

목차

1. TDM-GCC 를 이용한 Gfortran 설치

2. Hello, World 출력하여 설치 성공여부 확인

TDM-GCC를 이용한 Gfortran 설치 

1. 아래 TDM-GCC 사이트 방문

https://jmeubank.github.io/tdm-gcc/

2. 좌측 MinGW-w64 based (64-bit 운영체제인 경우)의 .exe 파일 클릭해서 다운로드 

3. 아래 순서대로 설치 

Create 버튼 클릭

gcc (TDM64) 앞의 + 버튼을 눌려 확장한다. 

아래 그림 처럼 fortran 체크하고 설치. 만약, 병렬처리를 하고 싶으면 openmp 도 체크해서 설치한다. 

설치완료

4. Windows 시작 버튼 에서 MinGW Command Prompt 클릭

5. 아래와 같이 gfortran -v 엔터해서 버전 확인이 나오면 설치 성공. 

Hello World 출력

1. cd 명령어를 사용하여 아래 처럼 원하는 작업 디렉토리로 이동

2. 메모장을 열어서 아래 코드 작성 후, hello.f90 이란 이름으로 위 디렉토리에 저장. 

3. dir 명령으로 hello.f90 이 저장되어 있는지 확인. 

4. gfortran hello.f90 실행하고, a.exe 가 생성되었는지 확인

5. 아래 그림과 같이 a.exe 를 실행하면, Hello, World 출력됨.

 이제 Fortran 프로그래밍을 작업할 모든 준비가 모두 끝남.  

MS 가 윈도우에서 응용 앱끼리 데이터를 공유하고 제어할 수 있도록 개발한 기술인 OCX 방식으로 제공되는 API를 사용하려면, QAxWidget 클래스를 사용해야 하는데, 이 클래스는   파이썬 PyQt5 패키지에 포함되어 있습니다.

PyQt5는 윈도우 프로그램 개발 GUI 에 많이 사용하고 있습니다. 

GUI를 구현하기 위해 PyQt5를 사용하지만, 윈도창을 생성하지 않고 API만을 사용하기 위해서도 PyQt5를  사용합니다. 즉, OCX 방식의 API를 제어하는 목적만으로 사용가능합니다. 

32bit 개발환경으로 변경해야 되는 이유

PC 등에서 공개 데이터(기상, 대기질, 증권 등)를 수집하기 위해서는 각 서버의 API를 사용해야 합니다. 이때, API 개발 환경의  bit 수를 맞춰줘야 합니다. 즉, 윈도우 OS Anaconda 64bit 환경에서 32bit API를 다룰려고 하면 Error가 발생합니다. 따라서,  아래와 같이 32-bit 개발 환경으로 변경하여야 됩니다. 이 방법의 장점은 아래와 같습니다. 

   1. 32bit 윈도우를 재설치할 필요없이 64bit 윈도우에서 개발 환경 설정 가능

   2. 32bit 아나콘다 재설치 필요없이 64bit 아나콘다에서 개발 환경 설정 가능

방법

1. Anaconda Prompt 에서 아래 과정 수행

    (base) C:\Users\chpark> conda --version

    conda 4.12.0

    (base) C:\Users\chpark> python --version

    Python 3.9.12

    (base) conda info

              :   

        platform : win-64  로 확인됨.

              : 

2. 32bit 로 아나콘다 환경 변경

    (base) C:\Users\chpark>set CONDA_FORCE_32BIT=1     

      위 명령을 수행하면 아무 반응이 없습니다. 주의할 점은 32BIT=1 사이에 공백이 없어야 합니다. set CONDA_FORCE_32BIT=0 를 입력하면 다시 64bit로 돌아옵니다. 아래와 같이 아나콘다 bit를 확인할 수 있습니다. 

    (base) conda info

            :     

        platform : win-32  로 변경되었는지 확인

            : 

3.  32bit 개발을 위한 가상환경을 설정

    (base) C:\Users\chpark>conda create -n py39_32 python=3.9.12 anaconda

    (base) C:\Users\chpark>conda activate py38_32 

    (py39_32) C:\Users\chpark> conda info

            아래 결과와 같이 platform : win-32  임이 확인되면 완성입니다. 

PyQt5 설치

32bit PyQt5를 설치하려면 위에서 생성된 가상환경 py39_32에서

    (py39_32) C:\Users\chpark>   pip install pyqt5 

를 실행하면 됩니다. 

가상환경 IDE에 연결하기

PyCharm 등의 IDE에 위에서 생성한 가상환경을 연결하면 됩니다. 

참고문헌: https://steady-coding.tistory.com/270

1. PyCharm 설치

2. 웹스크래핑과 판다스

import requests
from beautifulsoup4 import beautifulsoup

#url = "http://www.naver.com"
url = "https://finance.naver.com/item/main.nhm?code=000660"
html = requests.get(url).text  # 웹페이지 주소를 requests 모듈의 get()메서드에 전달
soup = BeautifulSoup(html, "html5lib")

from bs4 import BeautifulSoup 실행시 오류나면, 아래와 같이 설치

(base) conda install bs4

https://blog.naver.com/PostView.nhn?blogId=kimmingul&logNo=222241983842 

Intel Fortran 컴파일러와 MS Visual Studio 설치 

개발자는 코딩을 기계어로 번역해 주는 컴파일러와 프로그래밍을 편리하게 작업할 수 있는 IDE(Inegrated Development Environment) 두 가지를 개발환경으로 가지고 있어야 합니다. 

윈도우 상에서 작업하기 위해서, Intel 포트란 컴파일러와 MS Visual Studio 설치하는 방법을 소개합니다. 

MS Visual Studio 는 미리 설치해 뒀다는 가정 하에 설명합니다. 만약 설치하지 않았다면 oneAPI Toolkits 을 설치하는 중간에 설치하는 옵션이 있으니 바로 아래 순서대로 따라하면 됩니다. 

목차

1. Intel OneAPI Base Toolkit 설치

2. Intel OneAPI HPC Toolkit 설치

3. MS Visual Studio에서 연동하기 

1. Free intel Frotran compiler 설치 사이트 (아래 링크 접속)

2. Fortran 이 명시되어 있는 Get the Base Kit 클릭

아래 그림 처럼 Base 와 HPC Toolkit 모두 다운로드 해 둔다.

아래와 같이 윈도우 선택하고 다운로드 클릭

Download 시 Sign in 요구하면, 아래와 같이 Register 하기

3. Base Toolkit 설치 

30GB설치공간이 부족하거나, Fortran 기초 프로그래밍 연습을 위한 사용자라면, Custom Installation 을 선택한다.

포트란 컴파일러 설치와 관련있는 Intel Distribution for GDB 만 설치하여 전체 설치용량을 줄인다.

미리 설치한 Microsoft Visual Studio 2019 와 연동하도록 한다.

(Microsoft Visual Studio 2019 가 설치되어 있지 않다는 메세지가 나오면, 설치하고 연동한다.)

4. HPC Toolkit 도 위의 Base Toolkit 과 동일하게 설치한다.

이때도 포트란 컴파일러만 설치하여 용량을 줄인다. 

5. Visual Studio 상에서 Fortran 실행하기

아래와 같이 코드가 보이면 설치는 일단 성공이다. 

코드 내 실행창이 꺼지지 않도록 pause 명령문 삽입해 둔다.

시작을 눌러서 컴파일/실행한다.

아래와 같이 "Hello World" 가 출력되면, 모든 설치과정은 끝난다.

윈도우 GFrotran 설치

혹시 라이센스 문제가 걱정이면 GNU 라이센스 기반의 Gfortran을 설치해서 사용하기 바랍니다. 아래 링크 참조

윈도우용 포트란 free 컴파일러들

인텔 free 포트란 컴파일러 + Visual Studio 2019

https://aeir.tistory.com/entry/%EB%B9%84%EC%A3%BC%EC%96%BC-%ED%8F%AC%ED%8A%B8%EB%9E%80-%EC%84%A4%EC%B9%98?category=940076 

Windows 상에서 사용할 수 있는 Free 개인용 라이센스 포트란 컴파일러 추천

Silverfrost Fortran (FTN95) Personal Edition

기타 OS 용 포트란 컴파일러들

Free Fortran Compilers (thefreecountry.com)

GPU가 2개인데, CPU 에서도 작업을 수행하게 해서 3개 작업을 동시에 분업시키는 방법

1. 듀얼 GPU 설정하는 방법은 아래 링크 참고. 

2. 기본적으로 케라스가 GPU를 인식에서 이용하기 때문에, 아래 명령어를 추가해 주면 CPU를 사용한다. 

import os
os.environ["CUDA_VISIBLE_DEVICES"] = ""

from keras import backend as K
with K.tf.device('/cpu:0'):
    classifier = Sequential()
    classifier.add(Dense(units = 13, activation = 'relu'))
    classifier.add(Dense(units = 1, activation = 'sigmoid'))
    classifier.compile(optimizer = 'adam', loss = 'binary_crossentropy', metrics = ['accuracy'])

따라서, GPU 2개 CPUs 1개 돌려서 총 3개의 작업을 동시에 할 수 있다. 

Dual GPU 사용시 NVLink 등으로 묶거나 상호 교차 계산(multi-tasking) 하지 않고, 두 개의 프로그램을 각각 다른 GPU에서 독립적으로 분업으로 실행시키고자 할 때의 환경을 만드는 방법이다. 

1. Anaconda prompt 에서 가상환경 만들기

여기서는 gpu_0와 gpu_1 두 개의 가상환경을 만든다. 

• 아래 그림 처럼 (base) conda create -n gpu_0 실행
• Proceed [y]
• gpu_1에 대해서도 (base) conda create -n gpu_1 도 실행 

2. 각각 가상환경에서 커널 연결

각 가상환경(gpu_0, gpu_1)에서 아래 명령어 실행

python -m ipykernel install --user --name [가상환경 이름] --display-name "[커널이름]"

만약, 아나콘다 가상 환경에 주피터 노트북 등의 패키지를 설치할 때는 pip 대신 conda를 사용해야 합니다. 만약 pip를 사용하면 ~/Anaconda3/Lib/site-packages 에 패키지가 저장되므로 주의.

3. jupyter notebook 에서 생성된 커널 확인

아래 그림 처럼,Kernal > Change kernel 에서 GPU_0, GPU_1 생성된 것을 확인 

커널 삭제 방법

(gpu_0) jupyter kernerlspec uninstall gpu_0

4. 파이썬 프로그램에서 각 커널이 따로 사용할 GPU 번호 지정

각 가상 커널에서 GPU 사용할 GPU 번호를 지정해 준다.

5. GPU에서 실제 작동 여부 확인

아래 그림과 같이, 현재 GPU 전용 메모리는 둘 다 사용되지 않고 있음. 

딥러닝 코드 실행

아래 그림 처럼, 각 GPU가 따로 돌아가는 것을 볼 수 있음.

6. 분업 속도 확인 

본 예제에서는 아래 그림처럼 각자 4초 정도 시간이 소요되었다. 

주의:

각각의 가상환경으로 설정하지 않거나 설정이 잘 못 된 경우, 계산 도중 예전 데이터를 Disk에 Overwrite 할 것인지 Reload 할 것인지 계속 묻는다. 이는 하나의 가상환경에서 두개의 GPU를 따로 지정해서는 분업이 이루어지지 않는 상태라는 말임. 

링크:

딥러닝 TensorFlow-GPU 설정 방법은 아래 링크를 참조