解密chain-of-thought思维链：从认知科学到AI推理的工程实现

1次阅读

共计 1553 个字符，预计需要花费 4 分钟才能阅读完成。

认知心理学中的双系统理论将人类思维分为系统 1（System1，快速直觉）和系统 2（System2，慢速推理）。chain-of-thought（思维链）模仿的正是系统 2 的显式推理过程：

系统 1 特征：自动触发（如识别表情）、无需意识努力
系统 2 特征：序列化处理（如心算 17×24）、依赖工作记忆

神经科学研究表明，前额叶皮层在系统 2 任务中呈现明显的时序激活模式，这与思维链的 token 级生成机制高度吻合。

传统 seq2seq 模型直接建模 $P(y|x)$，而思维链方法分解为：
$$P(y|x) = \sum_{z_1,…,z_n} P(z_1|x)P(z_2|z_1,x)…P(y|z_n,x)$$
其中 $z_i$ 代表中间推理步骤。

方法	EM 得分	平均推理步数
BERT 基线	32.1	1.0
CoT（8 步）	51.7	5.3
CoT+ 自验证（8 步）	54.2	6.1

class CoTGenerator(nn.Module):
    def __init__(self, backbone):
        super().__init__()
        self.llm = backbone  # 预训练语言模型
        self.step_ctrl = nn.Linear(768, 1)  # 推理步数预测器

    def forward(self, x, max_steps=8):
        # x: [batch, seq_len]
        hidden_states = []
        current_input = x

        for step in range(max_steps):
            outputs = self.llm(current_input)
            logits = outputs.last_hidden_state  # [batch, seq, dim]

            # Token 级控制：预测是否继续推理
            continue_prob = torch.sigmoid(self.step_ctrl(logits[:, -1]))

            hidden_states.append(logits.detach())
            if continue_prob < 0.5:
                break

            # 拼接生成的中间步骤作为新输入
            current_input = torch.cat([x, logits.argmax(-1)], dim=1)

        return hidden_states

Token 级控制
在每一步生成后预测 [CONTINUE] 或[STOP] token
动态调整 max_length 避免过早截断

中间状态可视化

def visualize_step_attention(hidden_states):
    plt.figure(figsize=(12, 6))
    for i, h in enumerate(hidden_states):
        attn = h.mean(0).cpu().numpy()  # 平均注意力
        plt.subplot(2, 4, i+1)
        sns.heatmap(attn, annot=True)