共计 1809 个字符，预计需要花费 5 分钟才能阅读完成。
问题背景：LLM 在真实业务场景中的输出问题
在实际应用中，大语言模型（LLM）常常会遇到输出不稳定、意图理解偏差等问题。这些问题主要体现在以下几个方面：
- 输出抖动 ：相同的输入在不同时间可能得到截然不同的输出，导致业务逻辑无法稳定执行。
- 安全越界 ：模型可能生成不符合业务规范或包含敏感信息的内容。
- 意图偏差 ：模型对用户意图的理解不够精准，导致输出偏离预期。
这些问题严重影响了 LLM 在生产环境中的可靠性和可用性，因此需要一套系统化的 prompt skill 设计方法来解决。
技术解剖：prompt skill 的三大核心要素
1. 指令清晰度
清晰的指令是确保模型理解任务的关键。指令应当简洁明了，避免歧义。例如，使用明确的动词（如“生成”、“总结”、“分类”）来指定任务类型。
2. 上下文控制
上下文控制包括多轮对话状态维护和动态上下文管理。通过维护对话历史，模型可以更好地理解当前对话的上下文，从而生成更连贯的输出。
3. 输出约束
输出约束可以通过正则表达式、敏感词过滤等方式实现，确保模型生成的输出符合业务规范和安全要求。
代码实战：Python 示例
多轮对话状态维护
class DialogueState:
def __init__(self):
self.history = []
def add_message(self, role, content):
self.history.append({"role": role, "content": content})
def get_context(self):
return self.history
# 示例用法
state = DialogueState()
state.add_message("user", "你好")
state.add_message("assistant", "你好，有什么可以帮您的？")
print(state.get_context())输出格式强制校验（正则约束）
import re
def validate_output(output, pattern):
if re.match(pattern, output):
return True
return False
# 示例用法
output = "2023-10-01"
pattern = r"^\d{4}-\d{2}-\d{2}$"
print(validate_output(output, pattern)) # True敏感词过滤中间件
class SensitiveWordFilter:
def __init__(self, sensitive_words):
self.sensitive_words = sensitive_words
def filter(self, text):
for word in self.sensitive_words:
if word in text:
return False
return True
# 示例用法
filter = SensitiveWordFilter(["敏感词 1", "敏感词 2"])
print(filter.filter("这是一个测试文本")) # True
print(filter.filter("这是一个包含敏感词 1 的文本")) # False生产检查清单
- 意图覆盖率 ：确保 prompt 能够覆盖所有可能的用户意图。
- 异常恢复 ：设计健壮的异常处理机制，确保在模型输出不符合预期时能够恢复。
- 性能损耗 ：评估 prompt 的复杂度和模型响应时间之间的平衡。
- 安全合规 ：确保输出内容符合业务规范和安全要求。
- 可扩展性 ：prompt 设计应当易于扩展和维护。
进阶技巧
Few-shot learning
通过提供少量示例（few-shot），模型可以更好地理解任务要求。例如：
请根据以下示例生成类似的输出：示例 1：输入“苹果”，输出“水果”示例 2：输入“汽车”，输出“交通工具”输入“飞机”，输出：Chain-of-thought
通过引导模型逐步思考（chain-of-thought），可以提高复杂任务的输出质量。例如：
请逐步思考以下问题：问题：如果小明有 5 个苹果，吃了 2 个，又买了 3 个，现在有多少个苹果？步骤 1：小明最初有 5 个苹果。步骤 2：吃了 2 个，剩下 3 个。步骤 3：买了 3 个，现在有 6 个。答案：6 个苹果。结尾思考
prompt 的可解释性是一个值得深入探讨的话题。如何设计既高效又易于理解的 prompt，是未来研究的一个重要方向。大家在实际应用中有没有遇到过 prompt 难以解释的情况？欢迎分享你的经验和思考。
正文完
