BART模型预训练实战：从零构建高效文本生成模型

1次阅读

共计 2240 个字符，预计需要花费 6 分钟才能阅读完成。

传统 Seq2Seq 模型（如 LSTM+Attention）在文本生成任务中存在两个主要缺陷：

单向上下文理解：编码器仅能捕获从左到右的单向语义信息，导致对文本整体含义把握不足
误差累积问题：自回归解码过程中早期预测误差会逐步放大，影响长文本生成质量

BART（Bidirectional and Auto-Regressive Transformers）通过以下设计解决这些问题：

采用 Transformer 架构的 双向编码器，可同时分析文本前后语境
保留 自回归解码器 保证生成文本的连贯性
创新性地使用 去噪自编码 预训练目标（Denoising Autoencoder）

模型	预训练目标	典型任务适配性
GPT	单向语言建模	文本续写
T5	前缀语言建模 + 多任务统一格式	文本转换类任务
BART	文本破坏重建	生成 / 理解混合型任务

BART 的核心创新是 任意文本破坏策略（Text Corruption Strategies），包括：

随机 token 掩码（类似 BERT）
token 删除
文本片段替换
句子顺序重排

这种设计使模型必须理解全局语义才能准确重建原文，论文（arXiv:1910.13461）验证其在摘要生成、问答等任务中的优越性。

import torch
from transformers import BartForConditionalGeneration, BartTokenizer
import numpy as np

# 固定随机种子保证可复现
SEED = 42
torch.manual_seed(SEED)
np.random.seed(SEED)

def corrupt_text(text, mask_ratio=0.3):
    """
    实现 BART 的文本破坏策略
    :param text: 输入文本
    :param mask_ratio: 破坏比例
    :return: 破坏后的文本
    """
    tokens = text.split()
    n_mask = max(1, int(len(tokens) * mask_ratio))

    # 随机选择破坏位置
    mask_indices = np.random.choice(len(tokens), 
        size=n_mask, 
        replace=False
    )

    # 50% 概率替换为[MASK]，50% 概率替换为随机 token
    for i in mask_indices:
        if np.random.rand() > 0.5:
            tokens[i] = "[MASK]"
        else:
            tokens[i] = np.random.choice(vocab_list)

    return " ".join(tokens)

# 加载预训练基础模型
model = BartForConditionalGeneration.from_pretrained(
    "facebook/bart-base",
    forced_bos_token_id=0  # 避免生成起始符问题
)
tokenizer = BartTokenizer.from_pretrained("facebook/bart-base")

# 混合精度训练配置
scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    outputs = model(
        input_ids=input_ids,
        attention_mask=attention_mask,
        labels=labels
    )
    loss = outputs.loss

# 梯度缩放防止下溢出
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

# 训练循环中添加
if batch_idx % 100 == 0:
    print(f"显存占用: {torch.cuda.memory_allocated()/1024**2:.2f}MB")
    print(f"最大显存: {torch.cuda.max_memory_allocated()/1024**2:.2f}MB")

严格分离训练 / 验证集的文档来源
对长文本采用滑动窗口分割时，确保窗口间有足够重叠区
验证集指标突然飙升时立即检查数据污染

推荐采用线性 warmup+ 余弦退火组合：

from torch.optim.lr_scheduler import (
    LinearWarmup, 
    CosineAnnealingLR
)

scheduler = CosineAnnealingLR(
    optimizer,
    T_max=total_steps,
    eta_min=1e-6
)
warmup = LinearWarmup(
    optimizer,
    warmup_steps=1000,
    start_lr=1e-7,
    end_lr=3e-5
)