ニューラルネットワークはAIの脳みそ。G検定のディープラーニング分野は、ここから始めるのが近道です。
雷門 あかり
先生、ニューラルネットって脳を真似した計算モデルなの?
六角 いずみ 先生
ええ。
ニューラルネットワークは生物のニューロン(神経細胞) の働きを模した計算モデル。
入力に重みをかけて足し、活性化関数を通して出力するのが基本単位よ。
白銀 エマ
原点は1943年のマカロックとピッツの形式ニューロン。
次に1958年フランク・ローゼンブラットのパーセプトロンが登場したわ。
紫藤 ゆら
そんなに昔からあった技術なんですねぇ…!
六角 いずみ 先生
単純パーセプトロンは線形分離可能な問題しか解けなかった。
1969年のミンスキーとパパートの著書『パーセプトロンズ』でXOR問題が解けないことが証明され、第一次AIの冬の一因になったの。
白銀 エマ
これを克服したのが多層パーセプトロン(MLP)。
中間層を追加することでXORなどの非線形問題も解けるようになったのよ。
雷門 あかり
なるほど、層を増やすのがポイントなんだね!
六角 いずみ 先生
MLPは入力層・中間層・出力層で構成される。
中間層が2層以上ある場合を特にディープニューラルネットワーク(DNN) と呼ぶわ。
白銀 エマ
各ニューロンの出力は z = f(Σwi・xi + b) で表される。
wiが重み、bがバイアス、fが活性化関数ね。
紫藤 ゆら
うぅ〜ん、数式に見えるけど、やってることは単純な繰り返しなんですねぇ♪
六角 いずみ 先生
万能近似定理(Universal Approximation Theorem) によれば、十分なニューロン数の1層のMLPは任意の連続関数を近似できる。
理論的にはとても強力なモデルよ。
雷門 あかり
すごいじゃん!
じゃあ、なんで最近まで流行らなかったの?
白銀 エマ
学習の難しさ・計算資源の不足・データ不足の3点が原因ね。
GPU・ビッグデータ・新アルゴリズム (Dropout等) が揃った2010年代に開花したの。
六角 いずみ 先生
G検定では『形式ニューロン (マカロック&ピッツ, 1943)』『パーセプトロン (ローゼンブラット, 1958)』『多層パーセプトロン』『万能近似定理』はしっかり押さえておいてね!
確認クイズ
単純パーセプトロンが解けない代表的な問題として、1969年にミンスキーとパパートが指摘したものはどれか。
- AND問題
- XOR問題
- クラスタリング問題
- 回帰問題
こたえを見る
正解: 2. XOR問題
XOR問題は線形分離不可能な問題で、単純パーセプトロンでは解けません。多層パーセプトロン (MLP) で解決可能です。これが第一次AIの冬の一因になりました。
