C# Transformer 入门实战：从零构建你的第一个自然语言处理模型

1次阅读

共计 2619 个字符，预计需要花费 7 分钟才能阅读完成。

Transformer 架构自从 2017 年由 Google 提出后，已经成为自然语言处理（NLP）领域的基石技术。它通过自注意力机制（Self-Attention）有效捕捉序列数据中的长距离依赖关系，在机器翻译、文本生成等任务中表现出色。对于 C#开发者而言，虽然 Python 生态中的 Transformer 实现更为常见，但借助 ML.NET 和 TorchSharp 等工具，我们同样可以在熟悉的 C# 环境中构建和部署 Transformer 模型。

使用 C# 实现 Transformer 有几个显著优势：

与现有 C# 项目无缝集成，避免跨语言调用的复杂性
利用.NET 生态中的高性能计算库（如 TensorFlow.NET）
更适合需要与企业级应用（如 ASP.NET 服务）深度集成的场景

在开始实现之前，我们先比较几种主流实现方式：

原生 Python 实现（PyTorch/TensorFlow）
优势：社区支持最完善，预训练模型丰富
劣势：需要维护 Python 环境，与 C# 系统集成成本高
ONNX 运行时
优势：可以导入预训练 Python 模型
劣势：自定义模型结构受限
C# 原生实现（本文重点）
优势：完全控制模型细节，无外部依赖
挑战：需要手动实现部分底层逻辑

对于大多数 C#项目，我们推荐采用 TorchSharp（PyTorch 的 C# 绑定）作为基础框架，它提供了与 Python 版相似的 API 体验。

安装必要 NuGet 包：
```
dotnet add package TorchSharp
```

准备示例数据集（以文本分类为例）：

var trainData = new[] 
{("I love this product", "positive"),
    ("This is terrible", "negative")
    // 更多训练样本...
};

文本数据需要转换为模型可处理的数值形式：

构建词汇表：

var vocab = trainData
    .SelectMany(x => x.Item1.Split())
    .Distinct()
    .Select((word, idx) => (word, idx))
    .ToDictionary(x => x.word, x => x.idx);

实现文本编码器：

public static Tensor EncodeText(string text, Dictionary<string, int> vocab)
{var tokens = text.Split();
    var indices = tokens.Select(t => vocab.TryGetValue(t, out var idx) ? idx : 0);
    return torch.tensor(indices.ToArray());
}

以下是简化版的 Transformer 编码器实现：

public class TransformerModel : nn.Module
{
    private readonly Embedding embedding;
    private readonly TransformerEncoder encoder;
    private readonly Linear classifier;

    public TransformerModel(int vocabSize, int embedDim, int numHeads) 
        : base(nameof(TransformerModel))
    {embedding = nn.Embedding(vocabSize, embedDim);
        encoder = nn.TransformerEncoder(embedDim, numHeads);
        classifier = nn.Linear(embedDim, 2); // 二分类

        RegisterComponents();}

    public override Tensor forward(Tensor input)
    {var emb = embedding.forward(input);
        var encoded = encoder.forward(emb);
        return classifier.forward(encoded.mean(dim: 0)); // 取平均作为句子表示
    }
}

基础训练循环实现：

var model = new TransformerModel(vocab.Count, 128, 4);
var optimizer = torch.optim.Adam(model.parameters());
var lossFn = torch.nn.CrossEntropyLoss();

for (int epoch = 0; epoch < 10; epoch++)
{foreach (var (text, label) in trainData)
    {optimizer.zero_grad();

        var input = EncodeText(text, vocab);
        var target = label == "positive" ? 1 : 0;

        var output = model.forward(input);
        var loss = lossFn(output, torch.tensor(new[] {target}));

        loss.backward();
        optimizer.step();}
}

在本地开发环境中，我们观察到以下基准测试结果（使用 i7-11800H CPU）：