『ハルシネーション』はLLM最大の弱点。仕組みと対策を知ることは、責任あるAI活用の基本です。
雷門 あかり
LLMが『嘘』をつくって聞いたんだけど、本当なの?
六角 いずみ 先生
ハルシネーション(Hallucination, 幻覚) というわ。
LLMが事実と異なる情報を、自信を持って生成してしまう現象ね。
白銀 エマ
原因は複数あるの。
LLMは『尤もらしい次の単語を予測する』モデルなので、真偽の判断機構がないの。
また学習データの偏りや古さ、プロンプトの曖昧さも要因よ。
紫藤 ゆら
AIが自信満々に間違えるのが怖いですぅ…
六角 いずみ 先生
ハルシネーションは2種類に分類できるのよ。
内在的ハルシネーションは入力と矛盾する出力、外在的ハルシネーションは事実と異なる情報を生成することね。
白銀 エマ
典型的な例は『存在しない論文の引用』『実在しない人物のエピソード』『架空の法律条文』などね。
法務・医療・学術の分野では特に致命的な問題になるわ。
雷門 あかり
対策はあるの?
六角 いずみ 先生
大きく4つ。
1) RAGで事実を補給、2) プロンプト工夫('分からない時は「分からない」と答えて')、3) 温度パラメータを下げる、4) 検証ステップを組み込む。
白銀 エマ
温度(Temperature) は出力のランダム性を制御。
0に近いほど確定的、1以上だと創造的になる。
事実照合タスクでは0.0-0.3が推奨ね。
紫藤 ゆら
温度を下げると真面目になるんですねぇ♪
六角 いずみ 先生
またself-verification (自己検証) やcite-by-cite (出典明示要求) というプロンプト技法もあるわ。
『主張ごとに根拠を示してください』と指示するの。
白銀 エマ
根本的には、LLMを『副操縦士(Copilot)』として使い、人間が最終チェックする運用が大事。
Human-in-the-Loopの考え方ね。
雷門 あかり
AIを過信しないで、人間がちゃんと確認するんだね!
六角 いずみ 先生
G検定では『ハルシネーション』『内在的/外在的ハルシネーション』『RAG・温度・Human-in-the-Loop』を押さえて!
確認クイズ
LLMが事実と異なる情報を自信を持って生成してしまう現象を何と呼ぶか。
- 過学習
- ハルシネーション
- 勾配消失
- モード崩壊
こたえを見る
正解: 2. ハルシネーション
ハルシネーション (Hallucination, 幻覚)はLLMが事実と異なる情報を自信を持って生成する現象です。過学習は訓練データへの過適合、勾配消失はNN学習の問題、モード崩壊はGANの課題です。