반응형 학부 강의 노트/대기통계학44 통계 이론 :: 기각역과 p-value 아래 내용 출처: https://velog.io/@ljs7463/%EA%B8%B0%EC%B4%88%ED%86%B5%EA%B3%84-21-%ED%86%B5%EA%B3%84%EC%A0%81-%EC%9C%A0%EC%9D%98%EC%84%B1%EA%B3%BC-p%EA%B0%92 통계적 유의성: 실험결과가 유연히 일어난 것인지 아니면 유연히 일어날 수 없는 극단적인 것인지를 판단하는 방법 결과가 우연히 일어날 수 있는 변동성 범위 밖에 존재한다면, 통계적으로 유의하다. 용어정리 P값 (P-value) : 귀무가설을 구체화한 기회 모델이 주어졌을 때 관측된 결과와 같이 특이하거나 극단적인 결과를 얻을 확률(우연히 일어날 확률) 알파 (alpha) : 실제 결과가 통계적으로 의미 있는 것으로 간주되기 위해, 우연에 .. 2023. 5. 22. 베이즈 통계 :: 베이즈 갱신 - 실종된 항공기 위치 추정 베이즈 갱신은 실종된 항공기나 선박의 수색에도 위력을 발휘한다. 비행 기록 장치는 어디에 가라앉았는가? 2009년 6월 1일 브라질 리우데자네이루를 이륙한 에어프랑스 447편이 프랑스 파리로 향하다가 대서양에 추락하였다. 승무원과 승객 288명이 모두 사망하였는데, 기체 일부는 곧 발견되었지만 비행 기록장치인 블랙박스는 발견되지 않은채 수색은 중단되었다. 이 블랙박스 장치가 가라앉은 해저의 위치는 다음해의 재수색에서 드디어 특정되었다. 이 재수색에 사용된 방법이 베이즈 갱신이었다. 베이즈 갱신을 상요해 수색범위를 정한다 블랙박스가 가라앚았을 가능성이 있는 해저를 복수의 범위로 나눈다. 그리고 각각의 범위마다 블랙박스의 발견 사전확률을 설정한다. 주관적으로 설정해도 무관하다. 그리고, 사전 확률이 가장 큰.. 2023. 5. 9. 베이즈 통계 :: 베이즈 갱신 - 양치기 소년은 믿을 수 있나? '늑대가 왔다'라고 외치는 소년을 과연 믿을 수 있을까? 어느 마을에 양치기 소녀이 있었다. 소년은 심심한 나머지, '늑대가 왔다'라고 거짓말을 해서 마을 사람들을 불러 모았다. 마을 사람들은 연장을 들고 달려왔지만 장난이라는 것을 알고는 웃으면서 돌아갔다. 소년은 여러번 거짓말을 해서 마을 사람들을 속였다. 어느 날 소년 앞에 정말로 늑대가 나타났다. 소년은 '늑대가 왔다'고 외쳤지만, 마을 사람들은 '더 이상은 속지 않는다'며 소년을 도우러 가지 않았다. 소년은 양들을 모두 잃고 말았다. 이솝 우화 이야기는 베이즈 갱신을 생각할 수 있다 소년이 '거짓말쟁이'일 확률을 생각해 보자 베이즈 정리를 이용해서 이 이야기를 생각해 보자. 마을 사람들은 처음에 소년을 신뢰하고 있었으므로, 소년이 거짓말쟁이일 확.. 2023. 5. 9. 베이즈 통계 :: 감염증 검사와 재검사 민감도 99% 검사에서 '양성'으로 판정되면 실제로 감염되었을까? 감염자 100명에 대해 99명을 올바로 양성으로 판정 인구 10만 명당 100명의 감염자가 존재하는 감염증이 있다. 어떤 감염 검사를 했을 때 감염되었을 경우에는 '양성', 감염되지 않았을 경우에는 '음성'이라고 판정된다. 단, 이 감염 검사에는 오류가 항상 따라 다닌다. 실제로는 감염되지 않은 100명의 비감염자가 이 검사를 받으면 97명은 올바로 음성으로 판정된다(진짜 음성). 그러나, 3명은 양성으로 잘못 판정된다(가짜 양성). 이것을 전문용어로 '특이도 97%'라고 한다. 한편, 실제로 감염된 100명의 감염자가 이 검사를 받으면 99명은 올바로 양성으로 판정된자(진짜 양성). 그러나 1명은 음성으로 잘못 판정된다(가짜 음성). 이.. 2023. 5. 8. 통계 :: 정밀도 재현율 특이도 민감도 오차행렬을 confusion matrix (혼동행렬) 개발된 모델을 평가하기 위해서는 오차행렬을 사용한다. 오차행렬은 실제로 참인지 거짓인지, 예측을 긍정으로 했는지, 부정으로 했는지에 따라 네 개의 경우의 수로 구분한 표이다. 머신러닝 / 딥러닝 모델을 평가하는데 중요한 기준을 제공한다. * 분류 기준은 예측값! 참양성(TP) : 예측이 참(양성)이고 실제값도 참(양성) 일치 거짓양성(FP) : 예측이 참(양성)이고 실제값은 거짓(음성) 불일치 거짓음성(FN) : 예측이 거짓(음성)이고 실제값은 참(양성) 불일치 참음성(TN) : 예측이 거짓(음성)이고 실제값도 거짓(음성) 일치 모델 예측 결과 (평가 대상) 참 (양성) 거짓 (음성) 실제 측정 결과 (평가 기준) 참 (양성) TP (참양성) FN (.. 2023. 5. 8. 베이즈 통계 :: 항아리 역확률 문제 당신 앞에 놓인 것은 항아리 A일까, B일까? 항아리 A와 항아리 B에는 각각 붉은색과 푸른색 구슬이 각각 20개씩 들어있다. 항아리 A에는 붉은 구슬 4개와 푸른 구슬 16개, 항아리 B에는 붉은 구슬 12개, 푸른 구슬 8개가 들어있다. 눈을 가리고 어떤 사람이 항아리를 당신 앞에 둔다고 하자. 당신이 항아리에 손을 넣고 잘 저은 후, 1개의 구슬을 꺼냈더니 붉은 구슬이었다. 이때 당신 앞에 놓인 것은 항아리 A일까 항아리 B일까? 이 문제는 붉은 구슬을 꺼냈다는 겨로가로 부터 원인(=어느 항아리가 놓였을까)을 추정하는 문제라고 생각할 수 있다. 베이즈 정리를 사용해 그 확률을 추정해 보자. 베이즈 정리를 이용하면, '역확률'을 구할 수 있다. 당신 앞에 항아리 A나 B가 놓일 확률은 공평하게 P(A.. 2023. 5. 3. 베이즈 통계 :: 베이즈 정리 입문 베이즈 정리를 사용하면, '결과'로 부터 '원인'을 추정할 수 있다. 베이즈 정리는 '확률'에 대한 정리이다. 베이즈 정리 준비 단계로 확률을 다루는 수학의 기본을 다시 확인해 보자. 확률이란 '어떤 일 또는 사건이 일어나기 쉬운 정도'를 나타내는 수치이다. 확률은 0에서 1까지의 값을 취하며, 1에 가까울수록 그 사건이 확실하게 일어나는 것을 의미한다. A라는 사건이 일어날 확률은 P(A)로 나타낸다. '조건부 확률'이란? 조건부 확률이란 '어떤 조건을 바탕으로 다른 사건이 일어날 확률'을 말한다. 예를 들어, '52장의 트럼프 카드에서 뽑은 1장이 하트일 때, 그것이 K일 확률' 같은 것이고, P(K|하트) 로 나타낸다. {A가 일어났을 때 B가 일어날 확률} = {A와 B가 동시에 일어날 확률} /.. 2023. 5. 3. 베이즈 통계 :: 베이즈 정리의 창시자 - 토마스 베이즈 목사 18세기의 목사 토머스 베이스는 확률에 대해 무엇을 생각했나? 영국 런던 남동쪽 턴브리지웰스 Tunbridge Wells 라는 마음에 토마스 베이즈(Thomas Bayes, 1702-1761)는 개신교 목사로 활동한 사람이다. 영국 에든버러 대학에서 논리학과 신학을 공부했다. 목사가 된 베이즈는 아이작 뉴턴(1642-1727)의 신봉자로 수학자로도 활동했다. 뉴턴이 발견한 미적분법(유율법)에는 엄밀성이 결여되어 있다는 비판이 일어날 때, 베이즈는 유율법을 옹호했다. 베이즈 정리의 원형이 되는 개념은? 베이즈는 특히 확률 문제 에 흥미를 가졌고, 수학자로서 남긴 유일한 논문에 베이즈 정리의 원형이 되는 확률 개념이 적혀있다. "사물의 원인이 불명인 경우는 '하나가 아니라, 다수의 원인이 작용하고 있다.'고.. 2023. 5. 3. 베이즈 통계 :: 두 자녀 문제 어떤 가족의 자녀 2명이 있다. 그 가운데 적어도 1명은 아들이다. 이때 2명 모두 아들일 확률은? 미국 수학자 마틴 가드너(Martin Gardener, 1914~2010)가 1959년 Scientific American 저널의 칼럼에 실린 문제 직감적으로는 1/2로 생각되지만, 1명이 아들이이라고 알려져 이으므로, 2명 모두 아들인지 아닌지는 다른 1명이 아들인지 딸인지로 정해진다. 아들인지 딸인지 각각의 확률은 1/2이다. 하지만, 가드너의 답은 1/3 이었다. 왜 직감과 다른 답이 나올까? 네 가지 경우로 나누어 생각해 보자 '적어도 1명은 아들'이라는 조건이 없으면, '형-남동생', '오빠-여동생', '누나-남동생', '언니-여동생' 의 4가지 경우를 생각할 수 있다. 어느 경우도 확률은 같다... 2023. 5. 3. 이전 1 2 3 4 5 다음 728x90
