解密chain-of-thought思维链：从认知科学到AI推理的工程实现

1次阅读

没有评论

共计 1747 个字符，预计需要花费 5 分钟才能阅读完成。

认知科学中的双系统理论（Dual Process Theory）将人类思考分为两个系统：

系统 1（System 1）：快速、直觉式的反应，如识别面部表情
系统 2（System 2）：缓慢、有意识的逻辑推理，如解数学题

思维链（Chain-of-Thought）技术模拟了系统 2 的逐步推理过程。当人类解决复杂问题时，会生成中间推理步骤（如：” 首先 … 然后 … 因此 …”），这正是 CoT 试图在 AI 中复现的核心机制。

传统 seq2seq 模型处理 ”(3+4)*5″ 这类表达式时，直接输出结果 ”35″。其数学表示为：

$$ P(y|x) = \prod_{t=1}^T p(y_t|y_{<t}, x) $$

而思维链方法会生成中间步骤：

步骤 1: 计算 3 +4=7
步骤 2: 计算 7 *5=35
最终答案: 35

在 HotpotQA（多跳推理数据集）上的实验数据显示：

方法	准确率	平均推理步数
标准 BERT	42.3%	1.0
CoT 微调	58.7%	4.2
人工标注推理链	65.1%	5.8

import torch
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

# 加载预训练模型
model = AutoModelForSeq2SeqLM.from_pretrained("google/flan-t5-large")
tokenizer = AutoTokenizer.from_pretrained("google/flan-t5-large")

# 思维链生成函数
def generate_chain_of_thought(input_text, max_steps=5):
    prompt = f"请逐步推理: {input_text} 步骤:"
    inputs = tokenizer(prompt, return_tensors="pt")

    # 关键参数设置
    outputs = model.generate(
        inputs.input_ids,
        max_length=200,
        num_beams=3,
        early_stopping=True,
        no_repeat_ngram_size=2
    )
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

分隔符控制：使用 ”\n 步骤 1:” 等特殊 token 划分推理步骤
概率阈值：设置 $p_{threshold}=0.7$ 过滤低置信度中间结论
回溯机制：当连续 3 个 token 概率 <0.3 时回退到上一步

# 获取各层注意力权重
attentions = model(
    inputs.input_ids, 
    output_attentions=True
).attentions

# 可视化最后一层[CLS]token 的注意力分布
plt.matshow(attentions[-1][0, :, 0, :].detach().numpy())