『Chain of Thought』はLLMの推論能力を引き出す強力なテクニック。G検定頻出のプロンプト手法を整理します。
雷門 あかり
算数の問題とかをLLMに解かせるコツってあるの?
六角 いずみ 先生
鍵はChain of Thought (CoT) プロンプト!
2022年にGoogle Researchのウェイ等が提案した手法で、『段階的に考えて』と指示するだけで推論精度が大幅に上がるのよ。
白銀 エマ
具体例: 『リンゴが5個あり、3個食べて2個買いました。
何個?』に対して、『5-3+2を計算します。
まず5-3=2。
次に2+2=4。
答え: 4個』のように途中の思考過程を明示させるの。
紫藤 ゆら
小学校で習う『式と計算を書きなさい』みたいな感じですねぇ♪
六角 いずみ 先生
面白いのは、『Let's think step by step.』(段階的に考えよう) という1フレーズ追加するだけで効果があること。
Zero-shot CoTと呼ばれるわ。
小島等が2022年に発見したのよ。
白銀 エマ
CoTのもう一つの発展がSelf-Consistency(自己整合性, Wang等 2022)。
同じ問題に複数の推論パスを生成させ、多数決で答えを決める手法よ。
雷門 あかり
えっ、同じ問題を何回も解かせて多数決するってこと?
六角 いずみ 先生
これで単一推論の誤りを相殺して、精度が向上するの。
算術・論理問題で特に効果的ね。
白銀 エマ
派生としてFew-shot CoTもあるわ。
Few-shotの例示に、思考過程付きの例を含める方式。
複雑な推論タスクで効果的よ。
紫藤 ゆら
お手本を見せながら『こう考えるんだよ』って教えてあげる感じなんですねぇ!
六角 いずみ 先生
CoTの効果は大規模モデルでより顕著。
小さいモデルではかえって性能が落ちることもあるの。
これも創発的能力の一例ね。
白銀 エマ
実務では、数学・論理パズル・多段階推論タスクで必ず使う手法よ。
『考える過程を書いてから答えを出して』と入れるだけで、GPT-4やClaudeでも精度が10-30%向上することがあるわ。
雷門 あかり
よっしゃ、すぐ使えそうなテクニックだね!
六角 いずみ 先生
G検定では『Chain of Thought (CoT, Wei 2022)』『Zero-shot CoT (小島 2022)』『Self-Consistency (Wang 2022)』をしっかり押さえておいてね!
確認クイズ
LLMに『段階的に考える』ように促して推論精度を上げるプロンプト手法はどれか。
- Zero-shot
- Few-shot
- Chain of Thought (CoT)
- Masked Language Model
こたえを見る
正解: 3. Chain of Thought (CoT)
Chain of Thought (CoT)は、LLMに推論過程を明示させることで精度を大幅に向上させるプロンプト手法です。2022年にGoogle Researchのウェイ等が提案。『Let's think step by step.』だけでも効果があります。