반응형 연구 노트151 전처리 :: Data expansion after gap-filling 1hr 보호되어 있는 글 입니다. 2022. 7. 7. 파이썬 전처리 :: 여러가지 ML 테스트 (MRG_Gfilled_Dexpanding_분류.py) 보호되어 있는 글 입니다. 2022. 7. 7. 파이썬 전처리 :: ASOS AAOS AQ 자료 병합 ASOS_AAOS_AQ_pre_mrg.py 특정 사이트 자료 ASOS AAOS AQ 모두 합치기 In [1]: import keras print(keras.__version__) import tensorflow as tf print(tf.__version__) import os #os.environ["CUDA_VISIBLE_DEVICES"] = "1" # for GPU_1 from __future__ import absolute_import, division, print_function, unicode_literals import seaborn as sns import matplotlib as mpl import matplotlib.pyplot as plt import numpy as np from da.. 2022. 7. 5. 파이썬 전처리 :: ASOS 전처리(1) - 사용가능 변수 살피기 ASOS_pre0_allsite_with_figs_OK.py ASOS 전처리 Step 1 1) 기상데이터 포털에서 각 연도별 OBS_ASOS_TIM_XXXX.csv 다운로드 2) 각 사이트별로 변수 그림 그리고, 값이 존재하는 사용 가능한 변수명 확인 In [1]: import keras print(keras.__version__) import tensorflow as tf print(tf.__version__) import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" from __future__ import absolute_import, division, print_function, unicode_literals import seaborn as sns import ma.. 2022. 7. 5. pd.merge 에서 how='outer' 와 on = 'date' 차이 print(len(df)) date_data = pd.date_range(start='2016-01-01', end='2022-01-01', freq='H') dat = date_data.to_list() print(len(dat)-1) 52608 52608 tmp = pd.merge(asos, aaos, how="outer") print(len(tmp)) 52608 앞에서 만든 1시간 간격 날짜 데이터에 맞춰서 merge 됨. tmp = pd.merge(asos, aaos, on="Date") print(len(tmp)) 51385 #주의 !! on='Date'를 사용하면 Date 51385 로 자료 없는 곳은 생략하고 merge 됨. 2022. 7. 5. 머신러닝 :: 분류 리포트 2-3hr 차 결과 1차 데이터셋: qc_ASOS 데이터 (2-3시간 차이) 2차 데이터셋: mrg_ASOS_AAOS 데이터 (2-3시간 차이) x에 vis_log 가 없는 경우 y=flag 3차 데이터셋: mrg_ASOS_AAOS 데이터 (2-3시간 차이) x에 vis_log 를 추가하고 y=flag 데이터셋 주의 사항 vis_10m는 제외해야 된다. (오로지 flag로만 비교할때 보다, vis_log가 남아 있을 때 결과가 약간 더 향상되는 경우가 있다. ) 의사결정 나무 | 1차 2차 > 3차 --------------------------- precision | 1.0 recall | 0.50 f1-score | 0.53 support | 0.52 2차 precision recall f1-score support 0.. 2022. 6. 29. 머신러닝 :: 분류 리포트 1-2 hr 차 모델링 평가자료 1차 데이터셋: qc_ASOS 데이터 (2-3시간 차이) 2차 데이터셋: mrg_ASOS_AAOS 데이터 (1-2시간 차이) 오직 y=flag 3차 데이터셋: mrg_ASOS_AAOS 데이터 (1-2시간 차이) x에 vis_log 를 추가하고 y=flag 데이터셋 주의 사항 vis_10m는 제외해야 된다. 오로지 flag로만 비교할때 보다, vis_log가 남아 있을 때 결과가 약간 더 향상되는 경우가 있다. 코드 예제 - 의사결정 나무 #의사결정 나무 ## 데이터 학습 from sklearn import tree clf_tree = tree.DecisionTreeClassifier(random_state=0) clf_tree.fit(X_train_std, y_train) ## 데이터 예.. 2022. 6. 29. 개발환경 :: 비주얼 포트란 초간단 설치 (인텔 Visual Fortran) Intel Fortran 컴파일러와 MS Visual Studio 설치 개발자는 코딩을 기계어로 번역해 주는 컴파일러와 프로그래밍을 편리하게 작업할 수 있는 IDE(Inegrated Development Environment) 두 가지를 개발환경으로 가지고 있어야 합니다. 윈도우 상에서 작업하기 위해서, Intel 포트란 컴파일러와 MS Visual Studio 설치하는 방법을 소개합니다. MS Visual Studio 는 미리 설치해 뒀다는 가정 하에 설명합니다. 만약 설치하지 않았다면 oneAPI Toolkits 을 설치하는 중간에 설치하는 옵션이 있으니 바로 아래 순서대로 따라하면 됩니다. 목차1. Intel OneAPI Base Toolkit 설치2. Intel OneAPI HPC Toolkit.. 2022. 6. 8. 개발환경 :: 포트란 컴파일러 링크 (윈도우) 윈도우용 포트란 free 컴파일러들 인텔 free 포트란 컴파일러 + Visual Studio 2019 https://aeir.tistory.com/entry/%EB%B9%84%EC%A3%BC%EC%96%BC-%ED%8F%AC%ED%8A%B8%EB%9E%80-%EC%84%A4%EC%B9%98?category=940076 비주얼 포트란 초간단 설치 intel Visual Fortran 1. Free intel Frotran compiler 설치 사이트 (아래 링크 접속) Free Intel® Software Development Tools Free software tools supporting developers of all types; students, educators, academic research.. 2022. 5. 31. 이전 1 ··· 3 4 5 6 7 8 9 ··· 17 다음 728x90
