アンサンブル学習を俯瞰的に整理しましょう。バギング・ブースティング・スタッキングの3手法を、使い分けまで含めて押さえます。
雷門 あかり
アンサンブルって、音楽みたいな響きだね!
六角 いずみ 先生
アンサンブルは『合奏』の意味。
アンサンブル学習は複数のモデルを組み合わせて、単独より高い精度を得る手法の総称よ。
白銀 エマ
3つの主要手法がバギング、ブースティング、スタッキングね。
それぞれ組み合わせ方が違うわ。
紫藤 ゆら
3つもあるんですかぁ…ゆら、覚えられるかなぁ
六角 いずみ 先生
大丈夫よ。
一文で覚えましょう。
バギングは並列で多数決、ブースティングは逐次で弱点を補強、スタッキングはメタモデルで統合、ね。
白銀 エマ
スタッキングは一番凝った手法。
第1層で複数モデル (SVM、ランダムフォレスト、ニューラルネットなど) の予測を出し、第2層のメタモデルがそれらを統合するの。
雷門 あかり
へぇ、モデルの上にモデルを載せちゃうんだ!
六角 いずみ 先生
Kaggleで上位入賞するにはほぼ必須の手法よ。
ただしデータリーク (データ漏洩) に注意しないと、学習データの情報がテストに漏れて過学習するの。
白銀 エマ
過去にはネットフリックス賞でもスタッキングが使われたわ。
BellKor's Pragmatic Chaosチームが複数手法を統合して優勝したの。
紫藤 ゆら
わぁ、映画のおすすめAIにも使われてたんですねぇ♪
六角 いずみ 先生
アンサンブルが効くのは、各モデルの誤り方が異なるから。
似たモデル同士を組み合わせても効果は薄いの。
雷門 あかり
要は、バラエティ豊かなメンバーで組むのが大事ってこと?
六角 いずみ 先生
G検定では『バギング=並列』『ブースティング=逐次』『スタッキング=メタモデル』の対比をしっかり押さえておいてね!
確認クイズ
アンサンブル学習の手法として、第1層の複数モデルの予測を第2層のメタモデルが統合するものはどれか。
- バギング
- ブースティング
- スタッキング
- ブートストラップ
こたえを見る
正解: 3. スタッキング
スタッキングは第1層の複数モデルの予測を第2層のメタモデルが統合する手法です。バギングは並列・多数決、ブースティングは逐次・弱点補強、ブートストラップはサンプリング手法の名前です。
