教師あり学習の基本中の基本が『線形回帰』。数式はシンプルですが、G検定で問われる概念が詰まっています。
雷門 あかり
線形回帰って、ただの直線引きじゃないの?
六角 いずみ 先生
基本はそうなのよ。
線形回帰(Linear Regression) は、入力xと出力yの関係を直線 y = ax + b で表す手法ね。
家賃予測や売上予測みたいに、連続値の予測に使うのよ。
白銀 エマ
重要なのは最小二乗法(Least Squares)。
実際のyと予測y'の差 (残差) の二乗和を最小化するパラメータa, bを求めるの。
紫藤 ゆら
うぅ〜ん…なんで二乗するんですかぁ?
六角 いずみ 先生
プラスマイナスが打ち消しあうのを防ぐためよ。
また、大きな誤差を強く罰する効果もあるの。
白銀 エマ
入力が複数ある場合は重回帰分析。
y = a1x1 + a2x2 + ... + b の形になるわ。
家賃予測なら駅からの距離・面積・築年数などを同時に使うの。
雷門 あかり
よっしゃ、いくつも条件を組み合わせられるんだね!
六角 いずみ 先生
注意したいのが多重共線性(マルチコ)ね。
説明変数同士が強く相関していると、係数が不安定になっちゃうのよ。
VIFで検出するわ。
紫藤 ゆら
変数同士がケンカしちゃうんですねぇ…。
白銀 エマ
過学習を防ぐために正則化を加える手法もある。
リッジ回帰(L2) とラッソ回帰(L1) が代表例ね。
六角 いずみ 先生
リッジはパラメータを小さく保つ、ラッソはパラメータを0にして特徴量選択も行う。
L1とL2の違いはG検定頻出よ。
雷門 あかり
へぇ、L1とL2でそんなに違うんだ!
六角 いずみ 先生
線形回帰は理解しやすく計算も軽いので、ベースラインモデルとして今でも現役よ。
確認クイズ
線形回帰でL1正則化を用いる手法はどれか。特徴量選択の効果もある。
- リッジ回帰
- ラッソ回帰
- ロジスティック回帰
- Elastic Net
こたえを見る
正解: 2. ラッソ回帰
ラッソ回帰はL1正則化で、パラメータを0に押しつぶす性質があり特徴量選択の効果もあります。リッジ回帰はL2正則化、Elastic NetはL1+L2の併用、ロジスティック回帰は分類手法です。