使用chinese-poetry数据集训练生成对抗网络(GAN)的实战指南

1次阅读

共计 1614 个字符，预计需要花费 5 分钟才能阅读完成。

Chinese-poetry 数据集是一个包含大量中国古典诗歌的开放数据集，涵盖了唐诗、宋词等多种体裁。这些诗歌通常具有严格的格律和押韵规则，使得它们成为文本生成任务的理想测试场景。生成对抗网络 (GAN) 在文本生成领域展现出巨大潜力，能够学习数据分布并生成新颖的文本内容。

在古诗生成任务中，GAN 面临几个独特挑战：

诗歌的短文本特性导致信息密度高
严格的格式要求（如五言、七言）
需要保持语义连贯性和美学价值

处理 chinese-poetry 数据集的关键步骤如下：

数据清洗
去除标点和特殊符号
统一全角 / 半角字符
过滤不符合格律的诗歌

分词处理
使用 jieba 分词器进行中文分词：

import jieba

def tokenize_poem(poem):
    # 使用精确模式分词
    words = jieba.lcut(poem, cut_all=False)
    return [w for w in words if w.strip()]

构建词汇表和向量化
统计词频，选择前 N 个高频词构建词汇表
实现词到索引的映射
将诗歌序列转换为索引序列

在文本生成任务中，常见的 GAN 变体包括：

SeqGAN：结合策略梯度训练的序列生成模型
TextGAN：通过特征匹配提高生成质量
MaliGAN：改进的极大似然训练方法

对于古诗生成任务，我们推荐使用 SeqGAN 架构，因为它：

专门为序列数据设计
使用蒙特卡洛搜索处理离散输出
通过策略梯度优化生成器

以下是生成器的关键实现代码：

import torch
import torch.nn as nn

class Generator(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_dim):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.lstm = nn.LSTM(embedding_dim, hidden_dim, batch_first=True)
        self.linear = nn.Linear(hidden_dim, vocab_size)

    def forward(self, x, hidden=None):
        x = self.embedding(x)
        out, hidden = self.lstm(x, hidden)
        logits = self.linear(out)
        return logits, hidden

关键训练参数：