思维链提示词(Chain-of-Thought)实战指南：从原理到Prompt工程最佳实践

1次阅读

没有评论

共计 2397 个字符，预计需要花费 6 分钟才能阅读完成。

上周让 GPT- 4 解这道小学数学题时翻车了：

小明买 5 个苹果，吃掉 2 个后妈妈又买来 3 个，现在有多少个？

模型直接输出 6，忽略了中间步骤。这种错误在零样本提示(zero-shot prompting) 中很常见——模型试图直接给出答案，缺乏中间推理过程。更糟的是，当问题变成：

仓库有 120 箱货物，卡车每次运 15 箱，下午又进货 30 箱，问运完需要几趟？

得到的 11 次 答案明显错误（正确答案是 8 次），因为模型没考虑进货后的总量变化。这些案例暴露了大模型在复杂推理中的两大缺陷：

跳跃式推理：直接输出结果而省略关键步骤
上下文失焦：无法持续跟踪多步骤中的状态变化

response = openai.ChatCompletion.create(
    model="gpt-4",
    messages=[{"role": "user", "content": "问题：" + question}]
)

缺陷：
– 单轮交互缺乏中间过程
– 错误率随问题复杂度指数上升

prompt = f""" 请逐步解决这个问题：{question}
按以下格式回答：步骤 1：...
步骤 2：...
最终答案：..."""

改进点：
– 显式要求分步输出
– 准确率提升约 15-20%

prompt += """
请检查每一步是否满足：1. 数学计算无错误
2. 没有遗漏条件
3. 与上一步逻辑连贯
"""

优势：
– 通过交叉验证降低幻觉(hallucination)
– 在 GSM8K 数据集上准确率达 72.3%

import openai

def cot_prompt(question, steps=3, temp=0.7):
    """
    :param steps: 推理步骤数 
    :param temp: 控制创造性(0-1)
    """template = f""" 请用 {steps} 个步骤解决该问题，确保：- 每步不超过 20 字
    - 使用 '因为 / 所以' 连接逻辑
    - 最终用√标记验证通过

问题：{question}
    """

    response = openai.ChatCompletion.create(
        model="gpt-4",
        messages=[{"role": "user", "content": template}],
        temperature=temp,
        max_tokens=500
    )

    # 解析多步结果
    result = {"answer": "","steps": []}
    for line in response.choices[0].message.content.split('\n'):
        if "步骤" in line:
            result["steps"].append(line)
        elif "答案" in line:
            result["answer"] = line

    return result

关键参数说明：
– temperature=0.7：平衡确定性与创造性
– max_tokens=500：限制 token 消耗

组件	Token 消耗
问题描述	~15-30
指令模板	~50-70
每步推理	~20-40

优化技巧：
– 使用 \n 代替换行符节省 5 -10%token
– 用阿拉伯数字替代中文数字

通过 200 次测试得到的经验值：

简单问题：2- 3 步最佳
中等复杂度：4- 5 步
高难度问题：6 步后收益递减

def validate_steps(steps):
    last_num = None
    for step in steps:
        nums = [int(s) for s in step.split() if s.isdigit()]
        if nums and last_num:
            if abs(nums[-1] - last_num) > 50:  # 数值突变检测
                return False
        if nums:
            last_num = nums[-1]
    return True

from transformers import pipeline

class SafetyFilter:
    def __init__(self):
        self.filter = pipeline("text-classification", 
                              model="unitary/toxic-bert")

    def check(self, text):
        return self.filter(text)[0]["label"] == "toxic"

import time
from tenacity import retry, stop_after_attempt

@retry(stop=stop_after_attempt(3))
def api_call_with_retry(prompt):
    try:
        return openai.ChatCompletion.create(
            model="gpt-4",
            messages=[{"role": "user", "content": prompt}],
            timeout=10  # 秒
        )
    except Exception as e:
        time.sleep(1)
        raise e

# 计算每次调用的成本
def calculate_cost(response):
    model_rates = {
        "gpt-4": 0.03,  # $ per 1k tokens
        "gpt-3.5-turbo": 0.002
    }
    used = response.usage["total_tokens"]
    return model_rates[response.model] * used / 1000