このフェーズで学んだ「ディープラーニング」全22記事の要点を1ページに凝縮します。試験直前の復習用にご活用ください。
雷門 あかり
Phase 3 はDLの中核だよね!
何が一番大事なの?
六角 いずみ 先生
DLの3本柱はCNN(画像)、RNN/Transformer(系列・自然言語)、GAN/VAE/拡散モデル(生成)。
それぞれの代表アーキテクチャと用途を区別できるようにしましょう。
白銀 エマ
基礎 (5記事): ニューラルネット基礎誤差逆伝播活性化関数(ReLUシグモイドソフトマックス)、勾配消失問題、最適化アルゴリズム(SGD/Adam)。
紫藤 ゆら
学習を進める上での課題もたくさんありましたねぇ
六角 いずみ 先生
そうね。
正則化(Dropout/L1/L2)、バッチ正規化、データ拡張、転移学習、ハイパーパラメータ調整。
過学習対策はG検定頻出よ。
白銀 エマ
CNN (4記事): CNN基礎(畳み込み/プーリング)、主要モデル (LeNet→AlexNet→VGG→GoogLeNet→ResNet→ViT)、物体検出(YOLO/R-CNN)、セマンティックセグメンテーション(U-Net)。
雷門 あかり
RNN系とTransformerって関係あるんでしょ?
六角 いずみ 先生
うん。
RNN/LSTM/GRUは長期依存問題があるけど工夫で改善。
Encoder-Decoder+Attentionが翻訳モデルのブレイクスルー。
Transformer(2017) はSelf-AttentionでRNNを置き換え、BERTGPTの基盤になったわ。
白銀 エマ
生成モデル: オートエンコーダ・VAE(変分推論)・GAN(Generator+Discriminator)・DCGANStyleGAN。
後の拡散モデルへつながる基礎よ。
紫藤 ゆら
最新技術もありましたねぇ
六角 いずみ 先生
自己教師あり学習(SSL: 大量のラベルなしデータからラベルを自動生成、LLMの事前学習基盤)、モデル軽量化(知識蒸留/量子化/プルーニング)。
エッジデバイス展開で重要。
白銀 エマ
GPU/TPU/分散学習 (データ並列/モデル並列) も理解しておくと、なぜ計算リソースが鍵になるのかが分かるわ。
雷門 あかり
DLの全体像が見えた気がする!
六角 いずみ 先生
次のPhase 4 は生成AI (LLM・拡散モデル等)。
Phase 3 の Transformer/Attention/GAN がそのまま土台になるので、頭に入れた状態で進んでね。
確認クイズ
2017年に発表され『Attention Is All You Need』の論文で提案された、自然言語処理の革命的アーキテクチャはどれか。
- LSTM
- Transformer
- VGG-16
- AlphaGo
こたえを見る
正解: 2. Transformer
Transformer は2017年に Vaswani らが『Attention Is All You Need』で発表したアーキテクチャ。Self-Attention のみで構成され、RNN/CNN を使わずに系列を処理する画期的設計。BERT (2018) や GPT シリーズの基盤になりました。
