ロジスティック回帰 - 回帰と付くが実は分類手法
ロジスティック回帰の仕組みを、シグモイド関数・交差エントロピー・多クラス拡張から整理。G検定で紛らわしい分類手法を押さえます。
『ロジスティック回帰』は名前に『回帰』と付きますが、実は『分類』手法です。G検定でこの紛らわしさが狙われるので要注意。
胡桃 あんず
回帰なのに分類って、どういうこと!?
若葉 みどり 先生
ロジスティック回帰(Logistic Regression) は、出力をシグモイド関数で0〜1に変換して確率として扱うの。
確率が0.5以上なら『クラス1』、未満なら『クラス0』と分類するわ。
白銀 ゆき
数式は y = 1/(1 + exp(-(ax+b))) ね。
シグモイド関数はS字カーブで、入力を確率に変換する役割を果たすの。
桜井 もも
シグモイド、ディープラーニングでも聞いたことあります…!
若葉 みどり 先生
そう、シグモイドは活性化関数として広く使われるわ。
ロジスティック回帰はある意味、1層のニューラルネットと言えるの。
白銀 ゆき
学習には対数尤度を最大化する最尤推定を使う。
交差エントロピー損失を最小化するとも言えるわ。
胡桃 あんず
へぇ〜、最小二乗法じゃないんだ!
若葉 みどり 先生
その通り、分類タスクは交差エントロピーが標準よ。
最小二乗法だと確率の性質をうまく扱えないの。
白銀 ゆき
3クラス以上の分類には多クラスロジスティック回帰(softmax回帰) を使う。
出力をsoftmax関数で確率分布に変換するの。
桜井 もも
1対多とか、1対1とかでもやるんですかぁ?
若葉 みどり 先生
2クラス分類の手法を多クラスに拡張する方法としてOne-vs-RestとOne-vs-Oneがあるわ。
One-vs-Restは『クラスi vs 他全部』をクラスごとに、One-vs-Oneは『クラスi vs クラスj』のペアごとに学習するのよ。
胡桃 あんず
ロジスティック回帰、名前にだまされそうだけど、これなら覚えられそう!
若葉 みどり 先生
G検定では、『ロジスティック回帰は分類手法』『シグモイド関数』『交差エントロピー』、この3つをセットで押さえてね!
確認クイズ
ロジスティック回帰について最も適切な説明はどれか。
- 連続値を予測する回帰手法である
- 名前は回帰だが、実際は分類手法である
- クラスタリング手法の一種である
- 強化学習の報酬推定手法である
こたえを見る
正解: 2. 名前は回帰だが、実際は分類手法である
ロジスティック回帰は分類手法です。シグモイド関数で出力を確率に変換し、閾値で分類します。回帰と付いているのは数式的に線形回帰の発展形だからで、実用上は分類タスクに使われます。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
G検定スタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: JDLA G検定公式ページ