アンサンブル学習 - バギング・ブースティング・スタッキング
アンサンブル学習の3大手法を俯瞰。使い分け・違い・代表例をG検定観点で整理します。
アンサンブル学習を俯瞰的に整理しましょう。バギング・ブースティング・スタッキングの3手法を、使い分けまで含めて押さえます。
胡桃 あんず
アンサンブルって、音楽みたいな響きだね!
若葉 みどり 先生
アンサンブルは『合奏』の意味。
アンサンブル学習は複数のモデルを組み合わせて、単独より高い精度を得る手法の総称よ。
白銀 ゆき
3つの主要手法がバギング、ブースティング、スタッキングね。
それぞれ組み合わせ方が違うわ。
桜井 もも
3つもあるんですかぁ…もも、覚えられるかなぁ
若葉 みどり 先生
大丈夫よ。
一文で覚えましょう。
バギングは並列で多数決、ブースティングは逐次で弱点を補強、スタッキングはメタモデルで統合、ね。
白銀 ゆき
スタッキングは一番凝った手法。
第1層で複数モデル (SVM、ランダムフォレスト、ニューラルネットなど) の予測を出し、第2層のメタモデルがそれらを統合するの。
胡桃 あんず
へぇ、モデルの上にモデルを載せちゃうんだ!
若葉 みどり 先生
Kaggleで上位入賞するにはほぼ必須の手法よ。
ただしデータリーク (データ漏洩) に注意しないと、学習データの情報がテストに漏れて過学習するの。
白銀 ゆき
過去にはネットフリックス賞でもスタッキングが使われたわ。
BellKor's Pragmatic Chaosチームが複数手法を統合して優勝したの。
桜井 もも
わぁ、映画のおすすめAIにも使われてたんですねぇ♪
若葉 みどり 先生
アンサンブルが効くのは、各モデルの誤り方が異なるから。
似たモデル同士を組み合わせても効果は薄いの。
胡桃 あんず
要は、バラエティ豊かなメンバーで組むのが大事ってこと?
若葉 みどり 先生
G検定では『バギング=並列』『ブースティング=逐次』『スタッキング=メタモデル』の対比をしっかり押さえておいてね!
確認クイズ
アンサンブル学習の手法として、第1層の複数モデルの予測を第2層のメタモデルが統合するものはどれか。
- バギング
- ブースティング
- スタッキング
- ブートストラップ
こたえを見る
正解: 3. スタッキング
スタッキングは第1層の複数モデルの予測を第2層のメタモデルが統合する手法です。バギングは並列・多数決、ブースティングは逐次・弱点補強、ブートストラップはサンプリング手法の名前です。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
G検定スタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: JDLA G検定公式ページ