最適化手法 - SGD・Momentum・AdaGrad・RMSprop・Adam

最も基本がSGD?
(Stochastic Gradient Descent, 確率的勾配降下法?
)。
全データから1つランダムに選んで勾配を計算して更新を繰り返すの。
速いけど振動しやすいわ。

SGDに慣性を加えたのがMomentum?
(モメンタム)。
過去の勾配を加重平均して慣性を作り、振動を抑えながら速く収束するわ。

AdaGradの弱点は学習率が単調減少すること。
これを改善したのがRMSprop?
。
指数移動平均で過去を忘れていくの。
ヒントンが講義で紹介したわ。

Adamの派生でAdamW?
も有名。
weight decay (重み減衰) の扱いを改善した版で、Transformerの学習でよく使われるわ。

学習率スケジュールも重要。
学習率減衰?
(Learning Rate Decay?
)、ウォームアップ?
、コサインアニーリング?
などが使われるわ。

G検定では『SGD・Momentum・AdaGrad・RMSprop・Adam』の系譜をしっかり押さえてね!