『ロジスティック回帰』は名前に『回帰』と付きますが、実は『分類』手法です。G検定でこの紛らわしさが狙われるので要注意。
雷門 あかり
回帰なのに分類って、どういうこと!?
六角 いずみ 先生
ロジスティック回帰(Logistic Regression) は、出力をシグモイド関数で0〜1に変換して確率として扱うの。
確率が0.5以上なら『クラス1』、未満なら『クラス0』と分類するわ。
白銀 エマ
数式は y = 1/(1 + exp(-(ax+b))) ね。
シグモイド関数はS字カーブで、入力を確率に変換する役割を果たすの。
紫藤 ゆら
シグモイド、ディープラーニングでも聞いたことありますぅ…!
六角 いずみ 先生
そう、シグモイドは活性化関数として広く使われるわ。
ロジスティック回帰はある意味、1層のニューラルネットと言えるの。
白銀 エマ
学習には対数尤度を最大化する最尤推定を使う。
交差エントロピー損失を最小化するとも言えるわ。
雷門 あかり
へぇ〜、最小二乗法じゃないんだ!
六角 いずみ 先生
その通り、分類タスクは交差エントロピーが標準よ。
最小二乗法だと確率の性質をうまく扱えないの。
白銀 エマ
3クラス以上の分類には多クラスロジスティック回帰(softmax回帰) を使う。
出力をsoftmax関数で確率分布に変換するの。
紫藤 ゆら
1対多とか、1対1とかでもやるんですかぁ?
六角 いずみ 先生
2クラス分類の手法を多クラスに拡張する方法としてOne-vs-RestとOne-vs-Oneがあるわ。
One-vs-Restは『クラスi vs 他全部』をクラスごとに、One-vs-Oneは『クラスi vs クラスj』のペアごとに学習するのよ。
雷門 あかり
ロジスティック回帰、名前にだまされそうだけど、これなら覚えられそう!
六角 いずみ 先生
G検定では、『ロジスティック回帰は分類手法』『シグモイド関数』『交差エントロピー』、この3つをセットで押さえてね!
確認クイズ
ロジスティック回帰について最も適切な説明はどれか。
- 連続値を予測する回帰手法である
- 名前は回帰だが、実際は分類手法である
- クラスタリング手法の一種である
- 強化学習の報酬推定手法である
こたえを見る
正解: 2. 名前は回帰だが、実際は分類手法である
ロジスティック回帰は分類手法です。シグモイド関数で出力を確率に変換し、閾値で分類します。回帰と付いているのは数式的に線形回帰の発展形だからで、実用上は分類タスクに使われます。