Android端Sherpa-ONNX离线模式实现日文识别的实战指南

1次阅读

没有评论

共计 1913 个字符，预计需要花费 5 分钟才能阅读完成。

在移动设备上实现高效的离线日文语音识别一直是个挑战。我最近在项目中尝试使用 Sherpa-ONNX 来解决这个问题，积累了一些经验，在这里分享给大家。

移动端离线语音识别面临几个主要挑战：

计算资源有限：相比云端，移动设备的 CPU 和内存资源都有限制
模型大小限制：过大的模型会影响应用安装包体积和加载速度
日文特有难点：
假名和汉字的混合使用
长句分割困难
同音异义字多

对比了几种主流方案后，我选择了 Sherpa-ONNX，原因如下：

TensorFlow Lite 虽然成熟，但在日文识别场景下模型体积较大
PyTorch Mobile 缺乏针对语音识别的优化
Sherpa-ONNX 专为语音识别优化，具有：
更小的内存占用
更快的推理速度
对 ONNX 运行时更好的支持

首先需要将训练好的模型转换为 ONNX 格式并量化：

python -m onnxruntime.tools.convert_onnx_models_to_ort \
  --input_model japanese_model.onnx \
  --output_model japanese_model.ort \
  --quantize

量化后模型大小可减少 4 倍，精度损失控制在 2% 以内。

在 build.gradle 中添加依赖：

dependencies {
    implementation 'com.microsoft.onnxruntime:onnxruntime-android:latest.release'
    implementation 'kaldi-native-fbank-android:latest.release'
}

配置 CMakeLists.txt：

find_package(ONNXRuntime REQUIRED)
add_library(sherpa_onnx SHARED sherpa_onnx_jni.cpp)
target_link_libraries(sherpa_onnx PRIVATE onnxruntime)

模型分片加载：将大模型分成多个部分，按需加载
环形缓冲区：减少音频数据处理时的内存分配开销
预分配内存池：避免频繁的内存申请释放

public class SherpaOnnx {
    static {System.loadLibrary("sherpa_onnx");
    }

    private long ptr;

    public SherpaOnnx(String modelPath) {ptr = init(modelPath);
        if (ptr == 0) {throw new RuntimeException("Failed to initialize SherpaOnnx");
        }
    }

    private native long init(String modelPath);
    private native String recognize(short[] samples, int sampleRate);
    private native void release(long ptr);
}

JNIEXPORT jlong JNICALL
Java_com_example_SherpaOnnx_init(JNIEnv *env, jobject /*this*/, jstring modelPath) {const char *path = env->GetStringUTFChars(modelPath, nullptr);

    // 初始化模型
    SherpaOnnx *recognizer = new SherpaOnnx(path);

    env->ReleaseStringUTFChars(modelPath, path);
    return reinterpret_cast<jlong>(recognizer);
}

在以下设备上测试 16kHz 日文语音识别：