大模型生成的skill是什么：原理剖析与工程实践指南

2次阅读

共计 2205 个字符，预计需要花费 6 分钟才能阅读完成。

在大型语言模型（LLM）应用中，skill（技能）指模型通过特定输入输出模式完成专项任务的能力，例如文本摘要、代码生成或情感分析。其核心价值在于：

模块化能力封装：将复杂任务拆解为可组合的原子化技能
动态能力扩展：无需重新训练即可通过 prompt 注入新技能
可解释性增强：明确定义的 skill 比黑箱交互更易调试

技能边界模糊 ：同一 prompt 可能触发多个 skill 导致输出不稳定
评估指标缺失 ：缺乏量化标准衡量技能执行效果
长尾场景覆盖不足 ：低频需求难以通过通用 prompt 满足

Prompt 工程模板设计（零样本 / 小样本学习）
参数高效微调（LoRA/P-Tuning）
基于规则的后处理过滤

def build_qa_skill_prompt(question, context=None):
    """ 构建问答技能的标准 prompt 模板

    Args:
        question: 待回答的问题文本
        context: 可选上下文信息（few-shot 示例）"""template ="""Answer the question based on the following context:
{context}

Question: {question}
Answer:"""
    return template.format(
        context=context or "No additional context provided",
        question=question
    )

关键设计原则：

明确指令与示例分离
结构化输入输出占位符
包含 fallback 处理说明

from peft import LoraConfig, get_peft_model
import torch

# 原始模型加载
model = AutoModelForCausalLM.from_pretrained("gpt2-large")

# LoRA 配置
lora_config = LoraConfig(
    r=8,  # 秩维度
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],  # 注意力层注入
    lora_dropout=0.1,
    bias="none"
)

# 创建可训练模型
peft_model = get_peft_model(model, lora_config)
peft_model.print_trainable_parameters()  # 通常 <1% 参数量

# 训练循环示例
optimizer = torch.optim.AdamW(peft_model.parameters(), lr=1e-4)
for batch in train_loader:
    outputs = peft_model(**batch)
    loss = outputs.loss
    loss.backward()
    optimizer.step()
    optimizer.zero_grad()

建议采用三维度指标：

准确性 ：任务相关指标（如 BLEU、ROUGE）
稳定性 ：多次执行的输出方差
效率：Token 消耗与响应延迟

动态批处理（Dynamic Batching）
KV Cache 共享机制
技能优先级队列

def skill_router(input_text):
    """基于相似度匹配最相关技能"""
    from sentence_transformers import util

    skill_embeddings = {"qa": encode("Answer questions accurately"),
        "summarize": encode("Generate concise summary")
    }

    query_embed = encode(input_text)
    scores = {skill: util.cos_sim(query_embed, emb)
        for skill, emb in skill_embeddings.items()}
    return max(scores.items(), key=lambda x: x[1])[0]

from transformers import AutoTokenizer, AutoModelForSequenceClassification

safety_checker = AutoModelForSequenceClassification.from_pretrained("roberta-base-safety")

def validate_output(text):
    inputs = tokenizer(text, return_tensors="pt")
    outputs = safety_checker(**inputs)
    return outputs.logits[0][1] < 0.5  # 安全阈值