기상 기후 강의 노트

코드 

from sklearn.model_selection import GridSearchCV

params = {
    'n_estimators':[100],
    'max_depth'   : [6,8,10.,12],
    'min_samples_leaf' : [8,12, 18], 
    'min_samples_split' : [8,16, 20]
}

rf_clf = RandomForestClassifier(random_state=0)
model = rf_clf

grid_cv = GridSearchCV(model, param_grid=params, cv=2, n_jobs=-1)
grid_cv.fit(X_train, y_train)

print('Best parameter:\n', grid_cv.best_params_)
print('Highest accuracy: {0:.4f}'.format(grid_cv.best_score_))

출처: 파이썬 머신러닝 완벽가이드 p220

def roc_curve_plot(y_test, pred_proba_c1):
    fprs, tprs, thresholds = roc_curve(y_test, pred_proba_c1)
    plt.plot(fprs, tprs, label='ROC')
    plt.plot([0,1], [0,1], 'k--', label='Random')
    
    start, end = plt.xlim()
    plt.xticks(np.round(np.arange(start, end, 0.1), 2))
    plt.xlim(0,1);plt.ylim(0,1)
    plt.xlabel('FPR( 1 - sensitivity )'); plt.ylabel('TPR( Recall )')
    plt.legend()
    

    

from sklearn.metrics import accuracy_score, precision_score, recall_score, confusion_matrix, f1_score, roc_auc_score
from sklearn.metrics import roc_curve
def get_clf_eval(y_test, pred=None, pred_proba=None):
    confusion = confusion_matrix(y_test, pred)
    accuracy= accuracy_socre(y_test, pred)
    precision = precision_score(y_test, pred)
    recall = recall_score(y_test, pred)
    f1 = f1_score(y_test, pred)
    roc_auc = roc_auc_score(y_test, pred_proba)
    print('error matrix')
    print(confusion)
    print('Accu : {0:.4f}, Prec : {1:.4f}, Recu : {2:.4f},\
             F1 : {3:.4f},  AUC : {4:.4f}'.format(accuracy, precision, recall, f1, roc_auc))

전처리 과정에서, 시계열 데이터를 살펴볼때 아래와 같이 slider 를 사용하면 missing-data 를 찾거나, 경향성 파악에 크게 도움이 된다. 

코드

df.reset_index(inplace=True)

import plotly.express as px
fig=px.line(df, x='Date', y='Tair_C', title='Tair_Cm with slider')

fig.update_xaxes(
    rangeslider_visible=True,
    rangeselector=dict(
        buttons=list([
            dict(count=1, label="1m", step="month", stepmode="backward"),
            dict(count=2, label="3m", step="month", stepmode="backward"),
            dict(count=2, label="6m", step="month", stepmode="backward"),
            dict(step="all")]
        )
    )
)
            
fig.show()

연직 고층 기상 관측장비인 라디오존데가 플라스틱 쓰레기 논란에 휘말렸다. 

아무리 위성관측과 원격측정 기술이 발전해도 대기 구조를 직접관측하는 유일한 장비인 라디오존데. 

기온이 영하인 고층에서의 방온유지를 위해 스티로폼을 포장재로 사용할 수 밖에 없고, 각 종 센서와 기기판등이 지상으로 낙하되면 쓰레기로 처리될 수 밖에 없다. 

요즘은 바람까지 측정가능한 GPS 기능이 탑재된 레윈존데가 사용된다.

예전에는 주소라도 써서 기상청에서 수거하는 경우가 간혹있었지만, 지금은 바다에 낙하하면 수거 불가능.

전세계에서 연간 1억개의 라디오존데를 띄우고, 약 10억 이상의 예산이 쓰인다. 

매년 85만개 하늘의 플라스틱 쓰레기 라디오존데 (ecoday.kr)

datetime 변환 코드 상에서 이와 같은 에러가 발생

pandas 데이터 인식이 잘 못된 경우일 수 있다. 아래와 같이 설정

train["datetime"] = pd.to_datetime(train["datetime"])

.dt에서 어트리뷰트 에러발생 - 인프런 | 질문 & 답변 (inflearn.com)

Vapor Pressure Deficit(VPD) Guide (tistory.com)

VPD(수증기 압차:Vapour-pressure deficit) 계산 : 네이버 블로그 (naver.com)

https://youtu.be/1sLJzIVOKes

Tree기반 모델(DecisionTree, RandomForest)의 분할 그래프 시각화하기 (graphviz) (teddylee777.github.io)

인터넷 검색을 해 보면,

{사용자}\ .jupyter 폴더 내 jupyter_notebook_config.py 파일의 

#c.NotebookApp.notebook_dir = '' 부분에

코멘트(#)을 제거하고, 원하는 폴더 경로를 적으라고 되어있는데, 

그래도 안된다!!!

그래서, 초단간 방법을 소개한다. 

1. 아래와 같이 Jupyter Notebook 바로가기에서 오른쪽 클릭

2. 바로가기> 대상(T)와 시작위치(S)에 자신이 원하는 시작 폴더 경로를 넣어 주면 된다.

    이때, 쌍따옴표에 유의한다. 

3. Jupyter notebook 재 실행 하면, 시작 폴더가 변경된 것을 확인할 수 있다. 

1. 아래 사이트에서 윈도우용 graphviz 를 다운받는다. 안정화 버전을 추천함. 

https://graphviz.org/download/

2. 설치한다. 

3. Anaconda 콘솔을 관리자 권한으로 실행하고, 아래 명령어 실행

>>> pip install grpahviz 

4. 윈도우 환경변수에서 사용자 변수와 시스템 변수를 각각 아래와 같이 수정한다.

5. Jupyter notebook을 모두 재부팅

6. 아래 명령어 실행하여 확인

1. 아래 사이트에서 윈도우용 graphviz 를 다운받는다. 안정화 버전을 추천함. 

https://graphviz.org/download/

2. 설치한다. 

3. Anaconda 콘솔을 관리자 권한으로 실행하고, 아래 명령어 실행

>>> pip install grpahviz 

4. 윈도우 환경변수에서 사용자 변수와 시스템 변수를 각각 아래와 같이 수정한다.

5. Jupyter notebook을 모두 재부팅

6. 아래 명령어 실행하여 확인

conda install graphviz 를 쳐서 설치를 하자

찾아보니 conda install로 설치를 하면

C:\Users\Anaconda3\Library\bin\graphviz

이 위치에 설치된다.

그런데 pip install로 하면 아래 경로에 설치가 된다.

C:\Users\Anaconda3\Lib\site-packages\graphviz

아래와 같이 복잡하게 하지 말고, 그냥

(base) pip install xgboost 

하면 된다. 

conda install 을 사용하면, 아래와 같이 python 버전에 따라 PakcagesNotFoundError 가 발생한다. 

XGBOOST 설치방법

  1) https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost

  2) 현재 pyton 3.10 설치된 상태이므로, xgboost-1.5.1-cp310-cp310-win_amd64.whl 다운 받는다. 

  3) 다운로드한 파일을 C:\Users\chpark\Anaconda3\pkgs\python-3.10.0-h96c0403_3\Lib\site-packages 에 저장

  4) 다운 받은 폴더에 가서, pip install xgboost-1.5.1-cp310-cp310-win_amd64.whl 

  5) Jupyter notebook 에서 아래 명령어가 에러 나지 않으면 설치된 것임. 

      import xgboost as xgb

앙상블 방법

분류에서 가장 각광 받는 방법

이미지, 영상, 음성,NLP  영역에서 신경망ㅌㅊ에 기반한 딥러닝이 머신러닝계를 선도하고 있지만, 이를 제외한 정형 데이터의 예측 분석 영역에서는 앙상블ㅇ리 매우 높은 예측 성능으로 애용되고 있음. 

앗으븡:

서로 다른/또는 같은 알고리즘을 단순히 결하한 형태이나, 일반적으로 배팅과 부스팅 방식으로 나눔.

배깅방식: 랜덤 포레스트 - 뛰어나난 예측 선응 상대적으로 빠른 수행 시간, 유연성

최근에는 부스팅 방식으로 발전하고 있음. 그래디언트 부스팅(효쇠) 뛰어난 예측 성능이지만, 시간이 너무 오래 걸림따라서 최적화 모델 튜닝이 어려움

XgBoost , lightGBM 등 기존 그래디언트 부스팅의 예측 성능을 한단계 발전시키ㅁ녀서 수행시간을 단축시킨 알고리즘

정형 데이터 분류 영여ㅓㄱ에서 가장 활용도가 높으 ㄴ알고리즘으로 자리 잡음

랜덤 포레스트

그래디언트 부스닝

XGboost LightGMBM 스태킹 기법에 대해ㅓㅅ 살료봄. 

앙상블의 기본 알고리즘 --> 결정트리

결정트리: 쉽고 유연

스케일링이나 정규화 등의 영향이 적다. 

복잡한 구조로 인한 과적합이 발생하여 예측 성능이 저하될 수도 있음. 

하지마나 이것이 오ㄹ히려 장점

왜냐하면, 앙상블은 매우 많은 여러개의 약한 학습기(예측 성능이 상대적으로 낮은 학습 알고리즘)를 결합해 확률적 보와노가 유로가 발생한 부분에 대한 가중치를 계속 업데티으하면서 옟윽 성능을 향상시키는데 결정 트리가 좋은 약한 학습기가다 되기때문

결정트리

앙상블 학습

랜덤 포레스트

GBM

XGBoost

LightGBM

캐글 산탄데르 고객 만족 예측

출처: 파이썬 머신러닝 완벽가이드

대기 경계층 일변화

주간의 대기 경계층 기작

Mixed Layer (ML) 혼합층

혼합층은 기본적으로 기계적 대류와 열적 대류 2가지 방식의 대류에 의해 형성됨.

난류는 열, 습기, 운동량을 ML 내에서 연직으로 잘 혼합하는 역할.

기계적 대류 (wind shear)

ML 내 연직 바람 시어가 난류를 생성. 

청천난류일 경우 Kelvin-Helmholtz 파를 형성하기도 한다. (https://m.blog.naver.com/jungjinkim97/221410712597) 

열적 대류 (thermal) 

지표 가열로 인한 thermal 상승.

구름이 없는 경우, ML은 주로 지표가열로 인해 발생.

구름(stratocumuls)이 있는 경우, 구름 상단의 복사냉각으로 인해 하강 운동이 발생

일출 후 약 30분 후 부터, 난류가 생성되어 ML이 성장, 늦은 오후에 최대 깊이가 된다. 

열적 불안정으로 인한 연직 혼합 활발.

혼합층 상단 유입대(entrainment zone)에서 역전층이 존재하여, 상승하는 thermal의 뚜껑역할을 하고 ML 높이를 제한한다. (zi는 ML 깊이이면서 역전층의 하단 높이를 나타냄. )

대기오염 관점에서,

굴뚝에서 나온 대기오염물질은 불안정한 환상형(looping)을 보인다. 

* 대기경계층 내에서의 굴뚝 연기 형태

주간의 가온위, 풍속, 수증기 혼합비, 대기오염 농도 프로파일

ML 내 가온위, 혼합비, 농도, 풍속의 연직 분포는 아래 Fig. 1.9와 같다. 

가온위는 ML에서는 단열(adiabatic), SL에서는 초단열(superadiabatic) 상태.

• (용어) 가온도: 습윤공기 압력/밀도를 건조공기로  변환하였을 경우, 건조공기가 가져야 할 온도. Tv ~ T(1+0.61q) 가온도는 습윤공기 온도 보다 높다. 건조공기온도와 같다고 생각하면 간단히 이해될 수 있음. 
• (용어) 초단열 상태: 공기덩이가 환경(주변) 온도보다 항상 높은 온도를 가질 경우 절대 불안정 상태인데, 이 때의 기온감률을 초단열감율이라 부르고, 이 상태를 초단열 상태라 함.

풍속은 ML내에서 아지균상태(sub-geostrophic)로서 거의 일정. SL에서는 고도가 증가함에 따라 logarithmic 증가

풍향은 지표 근처로 갈수로 마찰에 의해서 등압선을 가로지르는 각이 커진다. 약 45도. 

혼합비는 고도에 따라 감소하는 경향. 이는 지표에서는 토양과 식생의 습기 증발과 건조 공기의 혼입층을 통한 유입 때문.

대기오염 관점에서,

오염농도는 대기오염 배출원들이 지표에 주로 존재하므로, ML내 농도는 높다. 오염물은 에디에 의해서 수송되기에 혼입층을 넘어갈 수 없고, ML에 갇혀서 높은 대기오염 농도를 유발. 

맑은날의 경우, 열기포(thermal)는 습기가 충분하면 LCL(lifiting condensation level)까지도 도달

흐린 날의 경우, 난류 강도가 약해서 ML은 천천히 발달. 구름이 두꺼우면 난류가 없거나 중립 성층이 된다. 

야간의 대기 경계층 기작 

Residual layer (RL) 잔류층

일몰 약 30분 전 thermal 생성이 중단되고 난류가 직전 ML층에서 쇠퇴하며 생성되는 층.

RL은 지표에 닿지 않음

안정한 경계층과 자유대기 사이에 존재, 낮 시간에 혼합층이었던 영역

중립대기

난류강도는 모든 방향으로 일정

냉각율은 RL 내에서 거의 일정하므로 가온위는 단열(adiabatic)에 가까움.

가온위(단순화하여 온위로 생각해도 됨)는 야간 복사 냉각에 의해 ~1도/day 감소.

이류가 없다면, 이 층에서 기상 변수와 대기오염 농도는 혼합층에서와 같은 값을 유지. 

다음날 ML이 RL하단에 도달하면 (S5), ML은 빠른 속도로 성장.

RL층 하단은 야간 안정 경계층의 두께가 점점 증가하면서 형태는 변하지만, 지표 난류 수송에 영향을 받지 않지 않고, 안정 경계층 내로 내려 오지도 않음. 따라서 RL은 경계층 기상에서 예외로 취급. 하지만, 야간 대기 오염 관점에서 중요함. 

대기오염 관점에서,

passive tracer (비반응성 미량기체) 

대기오염물은 주간에 ML에 유입되었다가 밤에는 RL 내 잔여물로 남음.

중립대기이므로, 굴뚝 연기가 RL에 들어가면 연직 및 수평 방향으로 같은 비율로 확산되어 cone 형태를 만든다 (Fig. 1.10 상부)

증발에 의해서 ML로 유입된 습기가 며칠 동안 누적되면  구름을 형성할 수도 있다. 

non-passive (반응성 미량기체)

화학적으로 반응성을 가지므로 RL 내에서 야간 화학반응을 통해 2차 오염물질을 생성. 

아침이 되어도 RL은 새로운 ML이 유입되기 전까지 한동안 남아 유지되는데, 이 시간동안 태양복사에 의해 광화학반응하여 2차 대기오염물질을 생성. 

Stable (nocturnal) boundary layer 야간 안정 경계층

야간 바람은 복잡한 구조를 가짐. 

일반적으로 정적으로 안정된 야간 대기에서는 풍속이 약해서 난류가 억제됨.

하지만, 경계층 내에서 지균풍을 발행하기도 하는데, 이것을 하층(야간)제트 (low-level jet or nocturnal jet) 라고 함.

정적으로 안정된 대기는 난류를 억제하는데, 야간 제트는 바람 쉬어를 강화하여 난류를 발생시킴.

결과적으로 난류는 순간적으로 SBL 내에서 혼합을 유발. 

주간 ML은 선명한 top이 있지만, SBL은 top이 선명하지 못하고 RL에 섞여 들어갈 수 있다. 

안정층(SBL)에서 대기오염물들은 연직 수송이 약하고, 수평으로 빠르게 확산되는 부채형(fanning)을 보임 (Fig 1.10 하층부) 약한 바람이 부는 경우 종종 수평 사행 (meandering)형태를 보임.

SBL내 지표에서는 풍속이 약하지만, 상공 200m에서는 10-30m/s 풍속의 야간 제트가 발생할 수 있음. 그 고도보다 더 높이 올라가면 풍속은 다시 약해지고 지균풍에 가까워짐. (Fig. 1.11) 

야간의 가온위 발달

레윈존데(sounding)로 측정한 가온위 연직 프로파일으로서 경계층 구조의 발달을 알 수 있다. Fig.1.12는 S1~S6 시간 동안 측정한 결과.

대기오염 관점에서,

가온위 프로파일은 시간에 따라 변하고, 따라서, 연기 플룸 형태에도 영향을 미침.

연기가 RL로 들어가면 난류가 억제되기 때문에 지상으로 확산될 수 없지만, 수평으로 약 수 백 km를 이류할 수 있다. 

RL내 연기 플룸이 안정된 SBL top에 부딪히면 상승하는 지붕형(lofting)을 생성한다 (Fig. 1.13) 

일출 후 새로운 ML은 점점 발달하여 전날 야간에 생성된 연기가 있던 고도까지 자란다. 이 때, 기존 연기는 새로운 ML에 의해서 지상으로 확산되는 훈증형(fumigation) 을 나타낸다 (Fig 1.14).

해설 강의 링크

풀이

https://aeir.tistory.com/entry/2021?category=944225 

제 2 문 해설 강의 링크