解决 ‘cannot handle batch sizes > 1 if no padding token is defined’ 问题的实战指南

1次阅读

共计 3606 个字符，预计需要花费 10 分钟才能阅读完成。

在自然语言处理（NLP）任务中，批量处理（batch processing）是提高模型训练和推理效率的关键技术。然而，当我们尝试处理不同长度的文本序列时，经常会遇到 'cannot handle batch sizes > 1 if no padding token is defined' 的错误。这一错误通常出现在使用 tokenizer 对文本进行编码时，尤其是在 Hugging Face 的 Transformers 库中。

这个错误的根本原因是，当我们将多个不同长度的文本序列组合成一个批次（batch）时，需要对这些序列进行填充（padding），以使它们具有相同的长度。如果 tokenizer 没有定义填充标记（padding token），就无法完成这一操作，从而导致错误。

Tokenizer 的主要任务是将原始文本转换为模型可以处理的数字序列（token IDs）。在转换过程中，tokenizer 会执行以下步骤：

分词（Tokenization）：将文本拆分为单独的 tokens（可能是单词、子词或字符）。
转换为 ID：将每个 token 映射到词汇表中的唯一 ID。
添加特殊 tokens：如 [CLS]、[SEP]、[PAD] 等，具体取决于模型的需求。

在批量处理中，我们需要将多个文本序列组合成一个张量（tensor）。由于文本长度可能不同，我们必须通过填充（padding）或截断（truncation）来统一长度。如果 tokenizer 没有定义填充标记，就无法执行填充操作，从而导致上述错误。

最简单的方法是为 tokenizer 显式定义一个填充标记。以下是实现步骤：

from transformers import AutoTokenizer

# 加载 tokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

# 检查是否有 padding token
if tokenizer.pad_token is None:
    tokenizer.add_special_tokens({"pad_token": "[PAD]"})

# 现在可以安全地进行批量处理
encoded_inputs = tokenizer(["Hello world", "This is a longer sentence"], padding=True, return_tensors="pt")

确保填充标记在模型的词汇表中。例如，BERT 模型默认使用 [PAD] 作为填充标记。
如果模型的词汇表中没有填充标记，可能需要重新训练 tokenizer 或选择其他标记。

动态 padding 是一种更高效的填充策略，它只在每个批次中填充到该批次中最长序列的长度，而不是整个数据集的最大长度。以下是实现代码：

from transformers import AutoTokenizer
from torch.utils.data import DataLoader

# 加载 tokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

# 假设我们有一个文本列表
texts = ["Hello world", "This is a longer sentence", "Short"]

# 编码文本，不进行填充
encoded_inputs = tokenizer(texts, padding=False, return_tensors="pt")

# 自定义 collate_fn 实现动态 padding
def collate_fn(batch):
    max_len = max(len(item["input_ids"]) for item in batch)
    padded_input_ids = []
    padded_attention_mask = []

    for item in batch:
        # 计算需要填充的长度
        pad_len = max_len - len(item["input_ids"])
        # 填充 input_ids
        padded_input_ids.append(item["input_ids"] + [tokenizer.pad_token_id] * pad_len)
        # 填充 attention mask
        padded_attention_mask.append(item["attention_mask"] + [0] * pad_len)

    return {"input_ids": torch.tensor(padded_input_ids),
        "attention_mask": torch.tensor(padded_attention_mask)
    }

# 使用 DataLoader 和自定义 collate_fn
dataloader = DataLoader(encoded_inputs, batch_size=2, collate_fn=collate_fn)

减少不必要的填充，节省内存和计算资源。
特别适合处理长文本或变长文本的数据集。

Hugging Face 提供了 DataCollatorWithPadding 类，可以自动处理填充问题。这是最推荐的方法，因为它简单且高效。

from transformers import AutoTokenizer, DataCollatorWithPadding

# 加载 tokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

# 初始化 DataCollator
data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

# 假设我们有一个文本列表
texts = ["Hello world", "This is a longer sentence", "Short"]

# 编码文本，不进行填充
encoded_inputs = tokenizer(texts, padding=False, return_tensors="pt")

# 使用 DataCollator 进行填充
padded_inputs = data_collator(encoded_inputs)