時系列・自然言語のための『RNN』系モデル。Transformer登場以前はLSTMが主役でした。G検定では各モデルの違いが頻出です。
雷門 あかり
RNNって時系列データに強いやつだよね?
六角 いずみ 先生
RNN(再帰型ニューラルネット, Recurrent Neural Network) は、前の時刻の出力を次の時刻の入力に再帰的に繋ぐ構造よ。
文章や音声、株価など時系列データに適用するの。
白銀 エマ
数式的には h(t) = f(W・x(t) + U・h(t-1))。
前の隠れ状態 h(t-1) を現在の入力 x(t) と一緒に処理するの。
紫藤 ゆら
時間の流れを覚えてるってことなのぉ?
六角 いずみ 先生
そう、過去の情報を隠れ状態に保持して未来の予測に使うの。
でも弱点があって、長い系列だと過去の情報が薄れる長期依存問題が起きるわ。
白銀 エマ
これを解決したのがLSTM(Long Short-Term Memory, ホッホライター&シュミットフーバー, 1997)。
ゲート機構を導入して『何を覚えるか、何を忘れるか』を学習するのよ。
雷門 あかり
ゲートって、要は門ってこと?
六角 いずみ 先生
LSTMには3つのゲートがある。
忘却ゲート (何を忘れるか)、入力ゲート (何を記憶するか)、出力ゲート (何を出力するか)。
この3つで情報の流れを制御するの。
白銀 エマ
LSTMにはセル状態(Cell State) という長期記憶の通路があって、ゲートがその情報を加減する。
これで長期依存が扱えるようになったわ。
紫藤 ゆら
わぁ、賢い仕組みですぅ…!
六角 いずみ 先生
LSTMの簡略版がGRU(Gated Recurrent Unit, チョ等, 2014)。
ゲートを2つ (更新ゲート・リセットゲート) に減らし、パラメータが少なくて高速。
性能はLSTMと同等よ。
白銀 エマ
RNN系は機械翻訳、音声認識、株価予測などに使われてきたけど、2017年にTransformerが登場してから主役を譲ったわ。
雷門 あかり
へぇ〜、RNNも古い技術になっちゃうんだね〜
六角 いずみ 先生
ただ、RNN系は今でも軽量デバイスや時系列予測で使われているし、理解はG検定必須。
『RNN=再帰構造、LSTM=ゲート機構、GRU=簡略版』はセットで覚えて!
確認クイズ
LSTMが持つ3つのゲート機構の組合せとして最も適切なものはどれか。
- 入力・中間・出力ゲート
- 忘却・入力・出力ゲート
- 読み込み・書き込み・削除ゲート
- 更新・リセット・出力ゲート
こたえを見る
正解: 2. 忘却・入力・出力ゲート
LSTMの3ゲートは忘却ゲート・入力ゲート・出力ゲートです。忘却ゲートで何を忘れるか、入力ゲートで何を記憶するか、出力ゲートで何を出力するかを学習します。『更新・リセット』はGRUの2ゲートです。