深入解析BART预训练模型：从原理到实战应用

1次阅读

没有评论

共计 2308 个字符，预计需要花费 6 分钟才能阅读完成。

BART 的核心创新在于将双向编码器（类似 BERT）与自回归解码器（类似 GPT）相结合。这种架构使其既能理解上下文（编码器优势），又能生成连贯文本（解码器优势）。

编码器部分 ：采用标准的 Transformer 编码器结构，可双向处理输入文本，捕获全局上下文信息。
解码器部分 ：在编码器输出的基础上，使用自回归方式从左到右生成文本，每个 token 的预测依赖之前生成的输出。
协同机制 ：通过交叉注意力层（cross-attention）实现信息传递，解码器每一层都会关注编码器的最终隐藏状态。

这种设计让 BART 特别适合需要「理解 - 生成」协同的任务，比如文本摘要、对话系统等。

与主流预训练模型相比，BART 的独特之处在于：

BERT 对比 ：
BERT 仅包含编码器，擅长理解任务但不支持文本生成
BART 的解码器使其可直接用于生成类任务
GPT 对比 ：
GPT 是纯自回归模型，无法利用双向上下文
BART 的编码器能更好地理解输入文本的完整语义
T5 对比 ：
都是编码器 - 解码器架构
BART 在预训练时使用了更丰富的噪声形式（如文本填充、句子排列等）

以下是使用 HuggingFace Transformers 微调 BART 的完整流程：

from transformers import BartTokenizer, BartForConditionalGeneration
import torch

# 1. 数据预处理
tokenizer = BartTokenizer.from_pretrained('facebook/bart-large')
model = BartForConditionalGeneration.from_pretrained('facebook/bart-large')

def preprocess_function(examples):
    inputs = ["summarize:" + doc for doc in examples["document"]]
    model_inputs = tokenizer(inputs, max_length=512, truncation=True)

    with tokenizer.as_target_tokenizer():
        labels = tokenizer(examples["summary"], max_length=128, truncation=True)

    model_inputs["labels"] = labels["input_ids"]
    return model_inputs

# 2. 训练配置
from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir='./results',
    per_device_train_batch_size=4,
    num_train_epochs=3,
    save_steps=10_000,
    save_total_limit=2,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation"],
)

# 3. 开始训练
trainer.train()

# 4. 推理示例
def generate_summary(text):
    inputs = tokenizer(["summarize:" + text], max_length=1024, return_tensors='pt', truncation=True)
    summary_ids = model.generate(inputs['input_ids'], num_beams=4, max_length=100)
    return tokenizer.decode(summary_ids[0], skip_special_tokens=True)