从原理到实战：深入解析zero-shot、few-shot与chain-of-thought（思维链）技术

1次阅读

共计 2700 个字符，预计需要花费 7 分钟才能阅读完成。

在自然语言处理（NLP）任务中，开发者常常面临两个核心挑战：样本稀缺和推理效率低下。样本稀缺问题尤其在小众领域或特定任务中表现突出，而推理效率则直接影响模型的实时性和可用性。传统的监督学习方法依赖于大量标注数据，这在资源有限的情况下往往不可行。此外，复杂的推理任务需要模型具备逐步推理能力，而传统的端到端模型在这方面表现欠佳。

原理：模型在没有任何示例的情况下执行任务，仅依靠预训练期间获得的知识和任务描述（prompt）来完成推理。
优点：无需标注数据，适用于快速原型开发和新任务探索。
缺点：性能受限于预训练数据的覆盖范围，对复杂任务的表现可能不稳定。

原理：模型通过少量示例（通常为 1 -10 个）学习任务的模式和规律，进而推广到新样本。
优点：比 zero-shot 更稳定，适用于中等复杂度的任务。
缺点：示例的选择和模板设计对性能影响较大，可能引入偏差。

原理：模型通过生成中间推理步骤（类似于人类的逐步思考过程）来解决复杂问题。
优点：显著提升复杂推理任务的性能，尤其适用于数学问题和多步推理。
缺点：计算开销较大，推理延迟较高。

任务描述 ：明确任务目标，例如分类、生成或问答。
Prompt 设计 ：使用清晰、具体的指令，避免歧义。例如：
分类任务：” 将以下文本分类为正面或负面情感：{text}”
生成任务：” 根据以下关键词生成一段描述：{keywords}”

样本选择 ：选择具有代表性的样本，覆盖任务的主要类别或模式。

模板优化 ：确保示例与任务描述一致，格式统一。例如：

 示例 1：输入："这部电影太精彩了！"
输出："正面"

示例 2：输入："服务非常差。"
输出："负面"

问题分解 ：将复杂问题拆解为多个子问题。

中间步骤生成 ：模型生成逐步推理过程。例如：

 问题："如果小明有 5 个苹果，给了小红 2 个，还剩几个？"
推理："小明原本有 5 个苹果，给小红 2 个后，剩下 5 -2= 3 个苹果。"
答案："3"

from transformers import pipeline

# 初始化 zero-shot 分类器
classifier = pipeline("zero-shot-classification", model="facebook/bart-large-mnli")

# 定义候选标签
candidate_labels = ["positive", "negative", "neutral"]

# 执行分类
result = classifier("I love this movie!", candidate_labels)
print(result["labels"][0])  # 输出最可能的标签

from transformers import pipeline, FewShotPromptTemplate

# 定义示例
examples = [{"text": "This product is amazing!", "label": "positive"},
    {"text": "Terrible experience.", "label": "negative"}
]

# 创建 few-shot 提示模板
prompt_template = FewShotPromptTemplate(
    examples=examples,
    example_prompt="Text: {text}\nLabel: {label}",
    prefix="Classify the sentiment of the following texts:",
    suffix="Text: {input}\nLabel:"
)

# 使用模板生成提示
prompt = prompt_template.format(input="The service was okay.")
print(prompt)

from transformers import pipeline

# 初始化文本生成管道
generator = pipeline("text-generation", model="gpt-3")

# 定义 CoT 提示
cot_prompt = """
Question: If a store has 10 apples and sells 3, how many are left?
Let's think step by step:
1. The store starts with 10 apples.
2. It sells 3 apples.
3. So, the remaining apples are 10 - 3 = 7.
Answer: 7

Question: {question}
Let's think step by step:"""

# 执行 CoT 推理
question = "A bakery has 20 croissants and bakes 10 more. How many do they have now?"
result = generator(cot_prompt.format(question=question), max_length=200)
print(result[0]["generated_text"])