使用C#和Keras实现高效图像分割：从模型训练到生产部署

1次阅读

没有评论

共计 3376 个字符，预计需要花费 9 分钟才能阅读完成。

在.NET 生态中直接实现图像分割确实存在一些挑战。首先，C# 本身缺乏原生深度学习框架支持，这意味着我们需要依赖外部库或跨语言调用。传统方法通常有以下问题：

性能瓶颈：通过 Python 服务进行 HTTP 调用会增加延迟
内存管理：跨语言交互容易导致内存泄漏
开发效率：需要维护两套代码（Python 训练 +C# 推理）

在 C# 中实现深度学习推理主要有三种主流方案：

Keras.NET
优势：直接加载 Keras 模型，API 友好
适用场景：需要快速集成已有 Keras/TensorFlow 模型
ML.NET
优势：微软官方维护，与.NET 深度集成
局限：自定义模型支持有限
ONNX Runtime
优势：跨框架通用，性能优化好
缺点：模型转换可能损失精度

对于图像分割任务，特别是使用 UNet 等复杂架构时，Keras.NET 通常是最高效的选择。

在 Python 环境中训练 UNet 模型（示例使用 TensorFlow 2.x）：

from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Conv2D, MaxPooling2D, UpSampling2D, concatenate

def unet_model(input_size=(256,256,3)):
    inputs = Input(input_size)
    # 编码器部分
    conv1 = Conv2D(64, 3, activation='relu', padding='same')(inputs)
    pool1 = MaxPooling2D(pool_size=(2, 2))(conv1)

    # 解码器部分
    up1 = UpSampling2D(size=(2, 2))(pool1)
    merge1 = concatenate([conv1, up1], axis=3)

    outputs = Conv2D(1, 1, activation='sigmoid')(merge1)

    model = Model(inputs=inputs, outputs=outputs)
    model.compile(optimizer='adam', loss='binary_crossentropy')
    return model

model = unet_model()
model.save('unet_model.h5')

安装必要的 NuGet 包：

Install-Package Keras.NET
Install-Package NumSharp

核心预测代码：

using Keras.Models;
using NumSharp;

public class ImageSegmenter 
{
    private BaseModel _model;

    public void LoadModel(string modelPath)
    {
        // 显式设置 TF 后端，避免内存泄漏
        Keras.Backend.SetBackend("tensorflow");
        _model = BaseModel.LoadModel(modelPath);
    }

    public NDArray Predict(NDArray input)
    {
        // 输入尺寸校验
        if(input.shape[1] != 256 || input.shape[2] != 256)
            throw new ArgumentException("Input must be 256x256");

        // 归一化处理
        input = input / 255.0f;

        // 添加 batch 维度
        var expanded = np.expand_dims(input, axis:0);

        // 预测
        var result = _model.Predict(expanded);

        // 移除 batch 维度
        return result[0];
    }
}

Keras 模型不是线程安全的，需要为每个线程创建模型副本：

public class ThreadSafeModelPool : IDisposable
{private ConcurrentQueue<BaseModel> _modelPool = new();
    private string _modelPath;

    public ThreadSafeModelPool(string modelPath, int poolSize=4)
    {
        _modelPath = modelPath;
        for(int i=0; i<poolSize; i++)
            _modelPool.Enqueue(BaseModel.LoadModel(modelPath));
    }

    public BaseModel GetModel() 
    {if(_modelPool.TryDequeue(out var model))
            return model;

        return BaseModel.LoadModel(_modelPath);
    }

    public void ReleaseModel(BaseModel model) => _modelPool.Enqueue(model);

    public void Dispose() => _modelPool.Clear();
}

在 app.config 中添加：

<configuration>
  <dllmap os="linux" dll="tensorflow" target="libtensorflow.so" />
  <runtime>
    <assemblyBinding xmlns="urn:schemas-microsoft-com:asm.v1">
      <dependentAssembly>
        <assemblyIdentity name="mkl_rt" publicKeyToken="null" culture="neutral" />
        <codeBase version="1.0.0.0" href="libmkl_rt.so" />
      </dependentAssembly>
    </assemblyBinding>
  </runtime>
</configuration>

OpenCV 默认使用 BGR，而 Keras 通常期望 RGB：

using OpenCvSharp;

Mat image = Cv2.ImRead("input.jpg", ImreadModes.Color);
Cv2.CvtColor(image, image, ColorConversionCodes.BGR2RGB);

在项目属性中强制设置为 64 位目标平台：

<PropertyGroup>
  <PlatformTarget>x64</PlatformTarget>
</PropertyGroup>

使用生产者 - 消费者模式处理视频帧：

var segmenter = new ImageSegmenter();
var video = new VideoCapture(0);

Task.Run(() => 
{using(var frame = new Mat())
    while(video.Read(frame))
    {var input = PreprocessFrame(frame);
        var mask = segmenter.Predict(input);
        PostProcess(mask);
    }
});

对医疗影像这类高精度需求场景，建议进行量化评估：

# Python 端量化
import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
quantized_model = converter.convert()

然后对比量化前后的 Dice 系数等指标。

通过 Keras.NET 桥接 C# 和 Python 生态，我们成功构建了端到端的图像分割解决方案。关键收获：