본문 바로가기

분류 전체보기614

Jupyter notebook 시작 디렉토리 설정 작동 안 될 때 (간단 해결) Anaconda Prompt 에서 jupyter notebook --generate-config 설정을 했음에도 사용자 지정 주피터 노트북 경로가 작동 안 될 때 아래 방법으로 간단 해결 1. Jupyter Notebook 아이콘에서 속성 열기 2. 대상(T)에서 %USERPROFILE% 삭제 후, 원하는 폴더 경로 입력. 3. 시작 위치(S) %HOMEPATH% 경로 제거 4. Jupyter notebook 실행해서 확인. 2021. 11. 23.
기후정책 :: 멘붕 정책 - 산림 훼손하는 태양광 발전소 거의 연구 논문 수준의 기사라서 추천합니다. 산림파괴하는 태양광 과연 탄소제로 가능한가? 탄소흡수체를 없애고 다시 탄소저감 시설을 설치하고 있는 환경 정책. 환경을 빌미로 새로운 토건 마피아를 양산하는 것은 아닐까요? 전기 소비 1위 기업 지붕에 경악.. 문재인 대통령 꼭 보세요 [최병성 리포트] [최병성 기자] ▲ 산능선이 싹뚝 잘려나갔다. 왜 그랬을까? ⓒ 최병성 산 능선이 싹둑 잘려나갔다. 지하로도 깊이 팠다. 생태축인 능선부까지 훼손됐다. 산을 잘라낸 바로 그 자리에 물류창 news.v.daum.net 우리나라 모든 문제는 행정 편의주의에 있습니다. 그것은 내거티브 규제 정책과 맞물려 있습니다. 언제쯤이면 해방이후 덕지덕지 뗌빵으로 혼란한 우리나라 정책들이 엣지있고 정교한 정책으로 바뀌어 국민들이.. 2021. 11. 23.
신경망의 구조 신경망 구조 1. 네트워크(또는 모델)를 구성하는 층 2. 입력 데이터와 그에 대응하는 타깃 3. 손실함수: 예측과 타깃을 비교하여 모델의 예측이 기대값에 얼마나 잘 맞는지 측정하는 손실값을 만듬 4. 학습 진행방식을 결정하는 옵티마이저 모델: 층의 네트워크 딱 맞는 네트워크 구조를 찾는 것은 과학보다 예술. 연습 필요. >>> from keras import models >>> from keras import layers >>> model = model.Sequential() Sequential() 모델의 경우, 단일 입력, 단일 출력인 경우 사용 다중입력 데이터 + 여러 딥러닝 모듈 인 경우 함수형 API 사용 모델 설정 - 층 설정 입력층, 은닉층, 출력층 등의 딥러닝의 구성 단위 하나 이상의 텐서.. 2021. 11. 22.
CPU와 듀얼 GPU로 딥러닝 분업 할당하는 법 (3개 동시 모델링) GPU가 2개인데, CPU 에서도 작업을 수행하게 해서 3개 작업을 동시에 분업시키는 방법 1. 듀얼 GPU 설정하는 방법은 아래 링크 참고. 듀얼 또는 다중 GPU 각각 따로 사용하는 딥러닝 환경만들기 Dual GPU 사용시 NVLink 등으로 묶거나 상호 교차 계산(multi-tasking) 하지 않고, 두 개의 프로그램을 각각 다른 GPU에서 독립적으로 분업으로 실행시키고자 할 때의 환경을 만드는 방법이다. 1. Anaconda pro aeir.tistory.com 2. 기본적으로 케라스가 GPU를 인식에서 이용하기 때문에, 아래 명령어를 추가해 주면 CPU를 사용한다. import os os.environ["CUDA_VISIBLE_DEVICES"] = "" from keras import back.. 2021. 11. 22.
신경망의 구조 - MNIST 손글씨 예제로 살펴보는 MNIST 손글씨 딥러닝 예제를 통한 신경망 구조 설명 1. 훈련/테스트 세트 구성 >>> import tensorflow as tf >>> from kerase.datasets import mnist >>> mnist = tf.keras.datasets.mnist >>> (x_train, y_train), (x_test, y_test) = mnist.load_data() # train / test set을 알아서 나눔 # mnist 데이터는 0~255 범위의 데이터 # 이를 0~1 사이로 맞춰주기 위해서 255로 나눔. # 딥러닝은 0~1 사이로 input 데이터의 범위를 해줘야. >>> x_train, x_test = x_train / 255.0, x_test / 255.0 >>> x_train.sh.. 2021. 11. 22.
구글 플레이그라운드 사용해 보기 구글 플레이그라운드에 접속 https://playground.tensorflow.org Tensorflow — Neural Network Playground Tinker with a real neural network right here in your browser. playground.tensorflow.org 1. 문제유형 선택 (먼저, 선형 분리되는 작업 선택) 2. 훈련/테스트 데이터 비율 설정 3. 입력 특징 선택 4. 학습율 설정: 학습속도 결정 5. 활성화함수 선택 6. 학습시작 7. 선형분리 안되는 작업에 은닉층 추가해서 실행해서 분류 도표 차이 보기 2021. 11. 22.
넘파이(NumPy) 요약 파이썬 리스트는 활용도가 높지만, 빅데이터 처리에는 충분하지 않다. 파이썬의 리스트에서는 데이터가 비연속적인 위치에 저당되므로 대량의 데이터 처라에 불리함. C언어 스타일의 2차원 배열은 데이터들이 연속적인 위치에 저장되어 효율적으로 처리할 수 있음. 왜냐하면 연속적으로 데이터가 저장되어 있어야 다음 데이터를 찾기 쉽기 때문. NumPy(Numerical Python): 과학/공학 분야에서 사용되는 파이썬 라이브러리 넘파이 API는 Pandas, SciPy, Matplotbli, scikit-learn 등의ㅐ 패키지에서 사용됨. 훈련샘플은 2차원, 3차원 다차원 행렬안에 저장됨. 행렬에서 삭제, 분리, 추가 등의 조작은 반드시 넘파이를 사용 넘파이 불러오기 >>> import numpy as np 배열 .. 2021. 11. 22.
듀얼 또는 다중 GPU 각각 따로 사용하는 딥러닝 환경만들기 Dual GPU 사용시 NVLink 등으로 묶거나 상호 교차 계산(multi-tasking) 하지 않고, 두 개의 프로그램을 각각 다른 GPU에서 독립적으로 분업으로 실행시키고자 할 때의 환경을 만드는 방법이다. 1. Anaconda prompt 에서 가상환경 만들기 여기서는 gpu_0와 gpu_1 두 개의 가상환경을 만든다. 아래 그림 처럼 (base) conda create -n gpu_0 실행 Proceed [y] gpu_1에 대해서도 (base) conda create -n gpu_1 도 실행 2. 각각 가상환경에서 커널 연결 각 가상환경(gpu_0, gpu_1)에서 아래 명령어 실행 python -m ipykernel install --user --name [가상환경 이름] --display-n.. 2021. 11. 19.
딥러닝 모델링 결과 예(epochs, seed 변경) epochs=5 batch_size=5 np.random.seed(1) epochs=5 batch_size=5 np.random.seed(7820) gap-filling with mean values. epochs=20 batch_size=5 np.random.seed(7820) from keras.models import Sequential from keras.layers import Dense classifier = Sequential() classifier.add(Dense(units = 13, activation = 'relu')) classifier.add(Dense(units = 1, activation = 'sigmoid')) classifier.compile(optimizer = 'adam.. 2021. 11. 19.
주피터 노트북 작업 디렉토리 변경 1. jupyter notebook --generate-config 실행 2. 아래 디렉토리를 찾아 파일 열기 3. 아래 문장을 찾아서 원하는 디렉토리 넣어주고 저장. 2021. 11. 19.
한방에 99.9% 예측 정확도, <1% 오차라 한방에 99.9% 정확도, 오차>> X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0) >>> X_train.shape (48456, 13) >>> y_train.shape (48456,) >>> X_test.shape (20767, 13) >>> y_test.shape (20767,) >>> classifier.add(Dense(units = 13, activation = 'relu')) >>> classifier.add(Dense(units = 1, activation = 'sigmoid')) >>> classifier.compile(optimizer = 'adam', loss = 'binary.. 2021. 11. 19.
딥러닝 TensorFlow 텐서플로 GPU 설치 한방에 끝내기 2 (윈도우) TensorFlow-GPU 버전을 사용하려면, 아래 링크 설명을 따라 먼저 GPU에 맞는 드라이버를 먼저 설치해야 함. 본 문서만으로는 TensorFlow-CPU 버전을 사용할 수 있음. Tensorflow GPU 딥러닝 개발 환경 구축 1 (윈도우) 1. 하드웨어 요구사항 확인 1.1. 현재 설치된 NVIDIA GPU 카드와 드라이버 버전 확인 현재 설치된 그래픽 카드 확인. (본 문서에서는 NVIDIA Quadro RTX 6000 기준) NVIDIA 제품만 가능 윈도우 설정>앱 열어 aeir.tistory.com 1. 아나콘다 (Anaconda) 설치 https://www.anaconda.com/products/individual 방문 아래 그림과 같이 웹페이지 아래로 내려가서, 64-Bit Grap.. 2021. 11. 18.
딥러닝 TensorFlow 텐서플로 GPU 설치 한방에 끝내기 1 (윈도우) TensorFlow-GPU 버전을 사용하기 위한 시스템 구축을 설명하고 있음. TensorFlow-CPU 버전의 경우, 바로 아래 문서로 가서 Anacona 설치부터 하면 됨. TensorFlow GPU 딥러닝 개발 환경 구축 2 (윈도우) TensorFlow GPU 버전을 사용하기 위해서, 아래 링크를 따라 먼저 하드웨어와 드라이버 등의 소프트웨어를 먼저 설치해야 한다. 앱 열어 " data-og-host="aeir.tistory.com" data-og-source-url="https://aeir.tist.. aeir.tistory.com 1. 하드웨어 요구사항 확인 1.1. 현재 설치된 NVIDIA GPU 카드와 드라이버 버전 확인 현재 설치된 그래픽 카드 확인. (본 문서에서는 NVIDIA Quad.. 2021. 11. 18.
기체 분자 수농도 구하기 (이상기체방정식) 2021. 11. 17.
기체 분압 구하기 (이상기체 방정식) 2021. 11. 17.
ValueError: Failed to convert a NumPy array to a Tensor (Unsupported object type float). 에러: >>> df.loc[df['Vis'] >> df.loc[df['Vis'] > 100, "flag"] = "2" >>> (중략) >>> d = df.values >>> (중략) >>> history=classifier.fit(X_train, y_train, batch_size = 5, epochs = 300, validation_data=(X_test, y_test)) ValueError: Failed to convert a NumPy array to a Tensor (Unsupported object type float). 원인: 데이터가 float 뿐만 아니라 object가 섞여 있다. numpy 는 오로지 숫자만 취급한다. pandas는 섞여 있어도 된다. 따라서, 데이터 전처리 시, 이미 d.. 2021. 11. 17.
WRF 배출량 데이터 다루기 Vulcan wrfinput_d03 (plus 3day 1hr) Feng's emission과 비교하면서, Vulcan 의 토/일 피크를 찾음. 일요일: 오전 피크 없음. 토요일: 이른 아침 작은 피크 (금요일 야간 활동 영향) 단위: (kgCO2/m^2/s)/10**-6 문제점. 시작을 2010년 5월 13일 (목) 으로 설정했으나, 요일이 맞지 않다. ==> 재작업!!! 아래는 vulcan 에서 3day 1hr 를 더한 경우 . 2021. 11. 17.
WRF 배출량 데이터에서 요일 찾기 Feng's wrfchemi_d03 단위: (mol km^-2 hr^-1)/10**4 토/일은 morning rush hour peaks 가 없다. 문제점: 요일이 안 맞다. 시작을 2011년 5월 1일 (일) 로 설정. 사실 2010년 5월1 (월) 로 해야 함. 2021. 11. 17.
빅데이터 - 빠진 데이터 메우기 gap-filling 2016 Co2_flux_0m gap-filling 결과 (5년 평균값을 단순 대입) NA 가12091 에서 2200 으로 줄어듦. 2017 co2_flux_0m NA 가 9629 --> 2271 2021. 11. 17.
탄소 모델 - CO2 연중 변화 CO2 플럭스 데이터에서 데이터 전처리 후 NEE 계산하고, GEE와 Re를 분해한 이후 일평균 값을 연중 plotting 한 결과 2021. 11. 17.

티스토리툴바