C#人工智能编程实战：如何用ML.NET解决工业级分类问题

1次阅读

共计 2553 个字符，预计需要花费 7 分钟才能阅读完成。

在传统工业系统中，C# 开发者引入 AI 能力时常常面临三大挑战：

延迟问题：Python 服务通过 REST API 调用时，网络序列化 / 反序列化可能增加 50-200ms 延迟，对实时性要求高的产线质检场景难以接受
依赖管理：Python 环境与.NET 项目混用会导致 Docker 镜像膨胀（增加 300MB+ 基础镜像），且 conda 与 nuget 的版本冲突频发
维护成本：需要同时维护 Python 模型训练和 C# 服务化两套代码，模型迭代时需同步更新两个技术栈的代码

对比 ONNX Runtime 等方案，ML.NET 的独特优势在于：

AutoML 自动调参 ：通过Experiment 接口自动尝试 20+ 种算法组合，节省 80% 调参时间
原生.NET 集成 ：直接使用IDataView 接口处理数据，无需 JSON/Protobuf 转换
全流程 C# 化：从特征工程到模型部署保持单一语言栈，降低认知负担

// 使用 Microsoft.ML.Tokenizers 进行文本分词
var tokenizer = new WordTokenizer();
var tokens = tokenizer.Tokenize(rawText);

// TF-IDF 向量化（注意设置 ngram 范围）var options = new TextFeaturizingEstimator.Options {
    WordFeatureExtractor = new NgramExtractorTransform.NgramExtractorArguments { 
        NgramLength = 2, // 二元语法
        SkipLength = 1 
    },
    CharFeatureExtractor = new NgramExtractorTransform.NgramExtractorArguments {NgramLength = 3 // 字符级 n -gram}
};

var pipeline = mlContext.Transforms.Text.FeaturizeText("Features", options, "Text");

// AutoML 实验配置（运行 3 小时）var settings = new BinaryExperimentSettings {
    MaxExperimentTimeInSeconds = 10800,
    OptimizingMetric = BinaryClassificationMetric.Accuracy,
    CacheDirectory = new DirectoryInfo("./ml_cache")
};

var experiment = mlContext.Auto().CreateBinaryClassificationExperiment(settings);
var result = experiment.Execute(trainData, validationData: testData);

// 最佳模型参数展示
Console.WriteLine($"最佳算法: {result.BestRun.TrainerName}");
Console.WriteLine($"学习率: {result.BestRun.HyperParams["LearningRate"]}");

// 模型序列化（注意压缩选项）mlContext.Model.Save(bestModel, trainData.Schema, "./model.zip", compress: true);

// 生产环境加载（线程安全单例）public class ModelSingleton {
    private static PredictionEngine<Input, Output> _instance;
    private static readonly object _lock = new object();

    public static PredictionEngine<Input, Output> Instance {
        get {if (_instance == null) {lock (_lock) {var mlContext = new MLContext();
                    var model = mlContext.Model.Load("./model.zip", out _);
                    _instance = mlContext.Model.CreatePredictionEngine<Input, Output>(model);
                }
            }
            return _instance;
        }
    }
}

使用 ArrayPool<T>.Shared 重用临时数组
对于大文本采用 MemoryMappedFile 分块处理
设置 MLContext 的NumberOfThreads限制并行度

// 正确的多线程预测方式
Parallel.For(0, 100, i => {
    var localEngine = ModelSingleton.Instance; // 每个线程获取独立实例
    var prediction = localEngine.Predict(new Input(...));
});

// 使用 ClassWeighting 补偿少数类
var options = new LightGbmBinaryTrainer.Options {
    ExampleWeightColumnName = "Weight",
    NumberOfIterations = 200
};

var weightedData = mlContext.Data.BootstrapSample(
    originalData, 
    classColumn: "Label", 
    positiveClassWeight: 5.0f);