『事前学習』と『転移学習』はDL応用の中核テクニック。ラベル付きデータが少ないタスクでも高性能を出す魔法です。
雷門 あかり
転移学習って、学習した知識を使い回すイメージ?
六角 いずみ 先生
その通り。
転移学習(Transfer Learning) は、あるタスクで学習したモデルを、別の関連タスクに再利用する技術よ。
白銀 エマ
例えばImageNetで学習した画像分類モデルを、医療画像の分類に転用する、といった具合ね。
下位層の一般的特徴(エッジ、テクスチャ) は多くのタスクで有用なの。
紫藤 ゆら
人間も似てますよねぇ。
『自転車に乗れる人はバイクも早く乗れる』みたいなぁ♪
六角 いずみ 先生
転移学習の手法は大きく2つ。
特徴量抽出(Feature Extraction) はモデルの重みを固定し、最終層だけ学習し直す。
ファインチューニング(Fine-tuning) は全層を小さな学習率で再学習するの。
白銀 エマ
事前学習と似た概念のファインチューニングは、LLMの文脈でも重要ね。
BERTやGPTのような事前学習済みモデルを特定タスクに特化させるの。
雷門 あかり
ChatGPTも事前学習してからファインチューニングしてるんだよね?
六角 いずみ 先生
そう、GPTは大量のテキストで自己教師あり学習した後、SFT(Supervised Fine-Tuning) やRLHF(Reinforcement Learning from Human Feedback) でチューニングされているの。
白銀 エマ
転移学習の強みは『少ないラベル付きデータ』でも高精度を実現できること。
Few-shot学習やZero-shot学習という概念にも繋がるわ。
紫藤 ゆら
少ないデータでもすごい結果が出せるなんて、お得ですぅ〜!
六角 いずみ 先生
注意点として、ドメインシフトが大きすぎると転移が失敗する。
自然画像と衛星画像のように性質が違いすぎる場合は、追加の工夫が必要ね。
白銀 エマ
この問題にはドメイン適応(Domain Adaptation) という手法があって、DANN(Domain-Adversarial Neural Network) などが有名よ。
雷門 あかり
AIの世界でも『学び直し』って大事なんだねっ!
六角 いずみ 先生
G検定では『転移学習 vs ファインチューニング』『特徴量抽出・Fine-tuning』『ドメインシフト』をしっかり押さえておいてね!
確認クイズ
ImageNetで学習した画像分類モデルを医療画像分類に転用する手法は、何学習と呼ばれるか。
- 自己教師あり学習
- 転移学習
- 強化学習
- メタ学習
こたえを見る
正解: 2. 転移学習
転移学習 (Transfer Learning)は、あるタスクで学習したモデルを別の関連タスクに再利用する技術です。ImageNet事前学習モデルは画像系タスクの出発点として広く使われます。