機械学習モデルの性能をどう測るか? G検定では交差検証とホールドアウトの違いが問われます。
雷門 あかり
訓練したモデルの良し悪しってどう測るの?
六角 いずみ 先生
大切なのは『汎化性能』、つまり未知のデータにどれだけ対応できるか。
訓練データでの精度だけ見てもダメなのよ。
白銀 エマ
基本はホールドアウト法。
データを訓練データ(Train)、検証データ(Validation)、テストデータ(Test) の3つに分けて使うの。
紫藤 ゆら
3つに分けるんですかぁ?
それぞれどんな役割なんですかぁ?
六角 いずみ 先生
訓練データはモデル学習用、検証データはハイパーパラメータ調整用、テストデータは最終評価用ね。
比率は例えば 70:15:15 くらいかしら。
白銀 エマ
もう一つの方法が交差検証(クロスバリデーション, CV)。
データをk個に分割し、1つをテスト、残りを訓練として、k回繰り返すの。
雷門 あかり
k分割って、kはどれくらいが普通なの?
六角 いずみ 先生
k分割交差検証では k=5 や k=10 が一般的。
Leave-One-Out(LOO) は k=データ数で1個を除外を繰り返す極端版ね。
白銀 エマ
交差検証の利点は『全データを評価に使える』『結果が安定する』。
欠点は『計算コストが k倍になる』ことよ。
紫藤 ゆら
わぁ、全部のデータを無駄なく使えるんですねぇ♪
六角 いずみ 先生
不均衡データには層化k分割交差検証(Stratified k-Fold)。
各分割でクラス比率を保つ方法で、医療データなどで必須よ。
白銀 エマ
時系列データには時系列交差検証が必要。
未来のデータで過去を予測するリークを防ぐため、時間順を保った分割を行うの。
雷門 あかり
要はデータの性質で使い分けるってこと?
六角 いずみ 先生
G検定では『ホールドアウト=3分割』『k分割交差検証』『層化交差検証』『時系列交差検証』、この4つを押さえておいてね!
確認クイズ
データをk個に分割し、1つをテスト用、残りを訓練用としてk回評価する手法はどれか。
- ホールドアウト法
- k分割交差検証
- グリッドサーチ
- ベイズ最適化
こたえを見る
正解: 2. k分割交差検証
k分割交差検証は、データをk個に分割しk回の評価を行い平均を取る手法です。ホールドアウト法は単純な3分割、グリッドサーチとベイズ最適化はハイパーパラメータ探索手法です。