SVM (サポートベクターマシン) - マージン最大化とカーネルトリック
SVMの核心であるマージン最大化・サポートベクター・カーネルトリックを、初学者向けに噛み砕いて解説します。
『SVM』はディープラーニング以前に最も成功した機械学習手法のひとつ。カーネル法やマージン最大化など、数学的に洗練された概念が特徴です。
胡桃 あんず
SVMって響きがなんかカッコいいね!
どんな手法なの?
若葉 みどり 先生
SVM(サポートベクターマシン) は、2クラスを分ける超平面(高次元の境界線) を、両クラスからの距離 (マージン) が最大になるように決める分類手法よ。
白銀 ゆき
マージン最大化が重要なポイント。
境界線から最も近いデータ点をサポートベクターと呼び、これらだけで境界が決まるの。
桜井 もも
境界線を太く引くイメージですかぁ?
若葉 みどり 先生
そうそう!
太いマージンを確保することで、新しいデータにもロバストに分類できるの。
これが汎化性能の高さに繋がるのよ。
白銀 ゆき
線形分離できないデータにはカーネルトリックを使うの。
データを高次元空間に写像して線形分離可能にする技術で、計算は元の空間のまま行える賢い方法よ。
胡桃 あんず
次元を上げちゃうって、なんか魔法みたい!
若葉 みどり 先生
代表的なカーネルはRBFカーネル(Radial Basis Function)、多項式カーネル、線形カーネルなど。
RBFは汎用性が高く最も使われるわ。
桜井 もも
3つも覚えるの大変です…
白銀 ゆき
現実のデータはノイズを含むから、多少の誤分類を許すソフトマージンSVMが実用では主流よ。
ハイパーパラメータCで厳しさを調整するの。
若葉 みどり 先生
SVMは2010年代前半まで機械学習の王者だったのよ。
でも大規模データには計算コストが重くて、ディープラーニングに主役を譲ったということね。
胡桃 あんず
昔は栄光の日々があったんだなぁ…
若葉 みどり 先生
G検定では『SVM=マージン最大化』『サポートベクター』『カーネルトリック』『ソフトマージン』をしっかり押さえてね!
確認クイズ
SVMで線形分離できないデータを扱うための技術はどれか。
- バギング
- カーネルトリック
- ブースティング
- ドロップアウト
こたえを見る
正解: 2. カーネルトリック
カーネルトリックはデータを高次元空間に写像して線形分離可能にする技術で、SVMの非線形分類を可能にします。バギング・ブースティングはアンサンブル手法、ドロップアウトはニューラルネットの正則化手法です。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
G検定スタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: JDLA G検定公式ページ