Chain of Thought・Self-Consistency - LLMの推論強化
段階的推論を引き出すCoTプロンプトと、多数決で精度を高めるSelf-Consistencyを解説。G検定必出のテクニックです。
『Chain of Thought』はLLMの推論能力を引き出す強力なテクニック。G検定頻出のプロンプト手法を整理します。
胡桃 あんず
算数の問題とかをLLMに解かせるコツってあるの?
若葉 みどり 先生
鍵はChain of Thought (CoT) プロンプト!
2022年にGoogle Researchのウェイ等が提案した手法で、『段階的に考えて』と指示するだけで推論精度が大幅に上がるのよ。
白銀 ゆき
具体例: 『リンゴが5個あり、3個食べて2個買いました。
何個?』に対して、『5-3+2を計算します。
まず5-3=2。
次に2+2=4。
答え: 4個』のように途中の思考過程を明示させるの。
桜井 もも
小学校で習う『式と計算を書きなさい』みたいな感じですねぇ♪
若葉 みどり 先生
面白いのは、『Let's think step by step.』(段階的に考えよう) という1フレーズ追加するだけで効果があること。
Zero-shot CoTと呼ばれるわ。
小島等が2022年に発見したのよ。
白銀 ゆき
CoTのもう一つの発展がSelf-Consistency(自己整合性, Wang等 2022)。
同じ問題に複数の推論パスを生成させ、多数決で答えを決める手法よ。
胡桃 あんず
えっ、同じ問題を何回も解かせて多数決するってこと?
若葉 みどり 先生
これで単一推論の誤りを相殺して、精度が向上するの。
算術・論理問題で特に効果的ね。
白銀 ゆき
派生としてFew-shot CoTもあるわ。
Few-shotの例示に、思考過程付きの例を含める方式。
複雑な推論タスクで効果的よ。
桜井 もも
お手本を見せながら『こう考えるんだよ』って教えてあげる感じなんですねぇ!
若葉 みどり 先生
CoTの効果は大規模モデルでより顕著。
小さいモデルではかえって性能が落ちることもあるの。
これも創発的能力の一例ね。
白銀 ゆき
実務では、数学・論理パズル・多段階推論タスクで必ず使う手法よ。
『考える過程を書いてから答えを出して』と入れるだけで、GPT-4やClaudeでも精度が10-30%向上することがあるわ。
胡桃 あんず
よっしゃ、すぐ使えそうなテクニックだね!
若葉 みどり 先生
G検定では『Chain of Thought (CoT, Wei 2022)』『Zero-shot CoT (小島 2022)』『Self-Consistency (Wang 2022)』をしっかり押さえておいてね!
確認クイズ
LLMに『段階的に考える』ように促して推論精度を上げるプロンプト手法はどれか。
- Zero-shot
- Few-shot
- Chain of Thought (CoT)
- Masked Language Model
こたえを見る
正解: 3. Chain of Thought (CoT)
Chain of Thought (CoT)は、LLMに推論過程を明示させることで精度を大幅に向上させるプロンプト手法です。2022年にGoogle Researchのウェイ等が提案。『Let's think step by step.』だけでも効果があります。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
G検定スタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: JDLA G検定公式ページ