統計学の基礎 - 平均・分散・正規分布・相関・確率
機械学習の前提となる統計概念 (期待値・分散・正規分布の68-95-99.7ルール・相関と因果・条件付き確率・大数の法則) を、G検定で問われる粒度でまとめます。
G検定の機械学習・評価指標を正しく理解するには、最低限の統計学の基礎が必要です。難しい数式は出題されませんが、概念は問われます。
胡桃 あんず
統計って試験に出るの?
若葉 みどり 先生
直接数式を解く問題は少ないけど、平均分散標準偏差相関確率分布といった概念は機械学習の至るところに登場するわ。
白銀 ゆき
基本中の基本は期待値 (平均) と分散。
期待値はデータの中心、分散はばらつきの大きさ。
標準偏差は分散の平方根で、データと同じ単位になるの。
桜井 もも
分散と標準偏差って、なんで両方あるんですかぁ?
若葉 みどり 先生
分散は計算しやすいんだけど、単位が二乗されちゃうのよね。
例えば身長 (cm) の分散はcm²でしょ? 元の単位に戻したいときに標準偏差が便利なの。
白銀 ゆき
次に正規分布 (Normal Distribution / Gaussian)。
身長や測定誤差など、自然界の多くの現象が従う釣鐘型の分布。
平均±1σに約68%、±2σに約95%、±3σに約99.7%が含まれるのは要暗記ね。
胡桃 あんず
1σとか2σってどこで使うの?
若葉 みどり 先生
異常検知や品質管理で頻出。
例えば製造ラインで製品寸法が±3σを超えたら不良品候補としてアラート、というロジックね。
白銀 ゆき
続いて相関。
2変数の関係を-1〜+1で表す相関係数が代表。
+1は完全な正の相関、-1は完全な負の相関、0は無相関。
相関は因果ではないという注意点はG検定頻出よ。
桜井 もも
アイスクリームの売上と水難事故が同時に増えるけど…でも、アイスが事故を起こしてるわけじゃないですもんねぇ
若葉 みどり 先生
その通り。
両方とも『気温が高い』という第三の要因 (交絡因子) で動いているだけ。
擬似相関と呼ぶの。
白銀 ゆき
確率の基本は条件付き確率 P(A|B) = P(A∩B)/P(B)。
Bが起きた前提でAが起きる確率。
ベイズの定理の基礎になるわ。
胡桃 あんず
ベイズって聞いたことあるー!
若葉 みどり 先生
次の記事で扱うわ。
最後に大数の法則と中心極限定理。
前者は『試行を増やせば標本平均は真の平均に収束』、後者は『標本平均の分布は正規分布に近づく』。
統計的推定の柱ね。
桜井 もも
覚えること多いですけどぉ、機械学習の評価指標が分かるようになりそうっ♪
胡桃 あんず
よっしゃ、数式も怖くなくなってきた!
若葉 みどり 先生
G検定では『相関と因果の違い』『正規分布の68-95-99.7ルール』『条件付き確率』を必ず押さえてね。
確認クイズ
アイスクリームの売上と水難事故の発生件数に強い正の相関がある。この関係を最も適切に説明するものはどれか。
- アイスクリームを食べると体が冷えて事故を起こしやすくなる因果関係
- 気温という第三の要因による擬似相関で、両者に直接の因果関係はない
- 事故にあった人がアイスクリームを買うため
- 相関係数は信頼できないため、関係性は不明
こたえを見る
正解: 2. 気温という第三の要因による擬似相関で、両者に直接の因果関係はない
気温が共通の原因 (交絡因子) で、暑い日にはアイスもよく売れ、海・プールでの水難事故も増えるという擬似相関です。相関は因果ではないはG検定頻出ポイント。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
G検定スタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: JDLA G検定公式ページ