『オートエンコーダ』は教師なしでデータの特徴を学ぶ技術。VAEへの発展は生成AIの基礎です。
雷門 あかり
オートエンコーダって、何を自動化してるの?
六角 いずみ 先生
オートエンコーダ(Autoencoder, AE) は、入力を一度圧縮してから復元するニューラルネットよ。
入力と出力が同じになるように学習するの。
白銀 エマ
構造はエンコーダ+デコーダ。
エンコーダが入力を低次元の潜在空間に圧縮し、デコーダがそれを元の次元に復元するの。
紫藤 ゆら
入出力が同じなのにぃ、なんで学習する意味があるんですかぁ?
六角 いずみ 先生
潜在空間がデータの本質的な特徴を捉えるからよ。
結果として次元削減、異常検知、事前学習に使える汎用ツールになるの。
白銀 エマ
もう一つ重要な派生がVAE(Variational Autoencoder, 変分オートエンコーダ)。
2013年にキングマ等が提案した、確率的な生成モデルよ。
雷門 あかり
VAEは、何が違うのっ?
六角 いずみ 先生
VAEは潜在空間を確率分布 (通常はガウス分布) として学習するの。
だからランダムサンプリングで新しいデータを生成できる。
これが生成AIの基礎になったのよ。
白銀 エマ
VAEの損失は再構成誤差とKLダイバージェンスの和。
再構成誤差で復元精度を、KLで潜在分布を正則化する仕組みね。
紫藤 ゆら
ガウス分布、またまた出てきましたぁ!
六角 いずみ 先生
VAEの応用は画像生成、音楽生成、分子設計など広い。
ただし生成画像がぼやける傾向があり、後のGANや拡散モデルに主役を譲ったわ。
白銀 エマ
ぼやけるのは、VAEが確率分布の平均を返しやすいから。
でも安定した学習と解釈性の高さから、今でも研究や特定用途で使われているわ。
雷門 あかり
VAEから生成AIの流れが始まったんだね!
六角 いずみ 先生
G検定では『オートエンコーダ=エンコーダ+デコーダ』『次元削減・異常検知への応用』『VAE (キングマ, 2013) = 確率的オートエンコーダ』を押さえて!
確認クイズ
確率的な潜在空間を持ち、そこからサンプリングして新しいデータを生成できる生成モデルはどれか。
- CNN
- VAE (変分オートエンコーダ)
- RNN
- SVM
こたえを見る
正解: 2. VAE (変分オートエンコーダ)
VAE (変分オートエンコーダ)は潜在空間を確率分布として学習し、サンプリングで新データを生成できる生成モデルです。2013年にキングマ等が提案しました。