Android中文离线语音识别实战：基于Speech Recognition Demo的可编辑源码解析

1次阅读

共计 2771 个字符，预计需要花费 7 分钟才能阅读完成。

离线语音识别在移动端落地时，开发者常遇到三个关键问题：

模型体积过大：完整的中文语音识别模型通常超过 100MB，直接打包进 APK 会导致安装包臃肿。我们实测未优化的声学模型（基于 DeepSpeech 架构）达到 87MB
多方言支持困难：普通话与方言在音素分布上存在差异，单一模型难以覆盖所有场景。测试发现粤语用户的识别错误率比普通话高 2.3 倍
实时性要求苛刻：端侧推理需要在 300ms 内完成从音频输入到文字输出的全过程，否则用户会感知明显延迟

通过对比主流框架在离线 ASR 场景的表现：

框架	模型格式支持	内存占用	中文社区支持	设备兼容性
TensorFlow Lite	.tflite	低	完善	全版本覆盖
MediaPipe	.pbtxt	中等	一般	需 API 24+
ONNX Runtime	.onnx	较高	一般	需额外 so 库

最终选择 TFLite 方案，因其：
1. 支持 8 位量化压缩模型
2. 提供 Android NN API 和 GPU Delegates 加速
3. 内置动态加载机制（Android App Bundle 友好）

关键步骤：

使用 TensorFlow 的 tflite_convert 工具进行训练后量化

tflite_convert \
  --saved_model_dir=original_model \
  --output_file=quantized_model.tflite \
  --optimizations=OPTIMIZE_FOR_SIZE \
  --experimental_new_converter

在 Android 项目中配置模型加载

private fun loadModel(context: Context): Interpreter {
    val assetManager = context.assets
    val modelFile = assetManager.openFd("quantized_model.tflite")
    return Interpreter(modelFile, Interpreter.Options().apply {setNumThreads(4)  // 根据 CPU 核心数调整
        addDelegate(GpuDelegate())  // 启用 GPU 加速
    })
}

量化后模型体积对比：
– 原始模型：87.4MB → 量化后：12.1MB（压缩率 86%）
– 识别速度：CPU 单线程下从 420ms 降至 260ms

构建高效音频流水线：

采样率转换使用 Android 原生 AudioRecord 配置

val SAMPLE_RATE = 16000  // 模型输入要求
val audioRecord = AudioRecord(
    MediaRecorder.AudioSource.MIC,
    SAMPLE_RATE,
    AudioFormat.CHANNEL_IN_MONO,
    AudioFormat.ENCODING_PCM_16BIT,
    AudioRecord.getMinBufferSize(...)
)

实时梅尔频谱计算（关键代码段）

fun computeMelSpectrum(pcmData: ShortArray): FloatArray {val fft = FFT(pcmData.size)
    val window = HanningWindow(pcmData.size)
    val windowedSignal = window.apply(pcmData)
    val spectrum = fft.transform(windowedSignal)
    return MelFilterBank(spectrum).compute()}

测试设备：Redmi Note 10 Pro（骁龙 732G）

模型版本	CPU 耗时(ms)	GPU 耗时(ms)	内存峰值(MB)
原始模型	420	310	145
量化模型	260	190	68
量化 + 动态加载	280	200	32（首次加载）

使用 StrictMode 检测泄漏

if (BuildConfig.DEBUG) {StrictMode.setThreadPolicy(StrictMode.ThreadPolicy.Builder()
        .detectLeakedClosableObjects()
        .penaltyLog()
        .build())
}

实现 AutoCloseable 的模型容器

class ASRModel : AutoCloseable {
    private val interpreter: Interpreter

    override fun close() {interpreter.close()
    }
    // ... 其他方法
}

现象：识别结果出现同音不同字（如 ” 识别 ”→” 十倍 ”）

解决方法：
1. 在语言模型中加入领域词汇
2. 调整 beam search 参数

# 模型导出时增加语言模型权重
tflite_convert ... --post_process_opts='{"lm_weight":0.7}'

优化方案：
1. 使用固定线程池

private val inferenceExecutor = Executors.newFixedThreadPool(2)

2. 设置 CPU 亲和性（需 root 权限）

fun setThreadAffinity() {Process.setThreadPriority(Process.THREAD_PRIORITY_AUDIO)
    // 绑定到小核（big.LITTLE 架构）if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {Process.setThreadScheduler(android.os.Process.myTid(),
            SCHED_FIFO, 10)
    }
}

动态端点检测：基于 VAD（Voice Activity Detection）实现智能断句

# 示例 VAD 实现逻辑
class VoiceActivityDetector {fun isSpeech(audioFrame: FloatArray): Boolean {val energy = audioFrame.sumOf { it * it}
        return energy > THRESHOLD
    }
}