Alpaca数据集实战指南：从数据预处理到模型微调全流程解析

1次阅读

共计 2218 个字符，预计需要花费 6 分钟才能阅读完成。

Alpaca 数据集（Stanford Alpaca）是斯坦福团队基于 Meta 的 LLaMA 模型生成的 52K 条指令微调数据，它通过 self-instruct 方法自动扩展原始种子任务，覆盖了开放式问答、文本改写、代码生成等多种任务类型。这个数据集对于 NLP 新手特别有价值，因为：

低成本入门：相比人工标注的大规模指令数据，Alpaca 提供了现成的优质训练样本
多样性突出 ：包含classification、generation、rewriting 等丰富任务类型
格式统一 ：基础结构为(instruction, input, output) 三元组（虽然实际使用仍需清洗）

从 HuggingFace 下载的原始数据集存在几个典型问题：

字段不一致：
约 15% 的样本缺少 input 字段（应为空字符串而非缺失）
部分 output 包含调试信息如"### 输出：..."
指令噪声：
存在 HTML 转义字符（如&）
少量指令出现 [MASK] 等未清洗的模板标记
格式问题：
多轮对话样本未特殊标记（需手动合并 instruction 和input）
部分 JSON 行尾有多余逗号导致解析失败

import pandas as pd
import re

# 加载原始数据
df = pd.read_json('alpaca_data.json', lines=True)

# 空 input 处理
df['input'] = df['input'].fillna('')

# 特殊字符清洗
def clean_text(text):
    text = re.sub(r'&[a-z]+;', '', text)  # 移除 HTML 转义
    text = re.sub(r'\[MASK\]', '', text)  # 清除模板标记
    return text.strip()

df['instruction'] = df['instruction'].apply(clean_text)
df['output'] = df['output'].apply(clean_text)

对于需要合并 instruction 和input的情况（如 HuggingFace 的 text2text 格式）：

def build_prompt(row):
    if row['input']:
        return f"Instruction: {row['instruction']}\nInput: {row['input']}"
    return row['instruction']

df['prompt'] = df.apply(build_prompt, axis=1)

from datasets import Dataset
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("decapoda-research/llama-7b-hf")

# 转换为 HF 数据集格式
hf_dataset = Dataset.from_pandas(df[['prompt', 'output']])

# 自定义 tokenize 函数
def tokenize_func(examples):
    model_inputs = tokenizer(examples['prompt'], 
        truncation=True,
        max_length=512  # 根据 GPU 显存调整
    )
    with tokenizer.as_target_tokenizer():
        labels = tokenizer(examples['output'], max_length=512, truncation=True)
    model_inputs["labels"] = labels["input_ids"]
    return model_inputs

tokenized_dataset = hf_dataset.map(tokenize_func, batched=True)

当遇到 CUDA out of memory 错误时：

梯度累积：

training_args = TrainingArguments(
    per_device_train_batch_size=4,
    gradient_accumulation_steps=8,  # 等效 batch_size=32
    ...
)

梯度检查点：
```
model.gradient_checkpointing_enable()
```

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=8,  # 秩
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],  # 适用于 LLaMA
    lora_dropout=0.05,
    bias="none"
)
model = get_peft_model(model, lora_config)

在实际项目中，判断指令数据集质量可以从几个维度考虑：