Android离线语音识别框架实战：从选型到避坑指南

1次阅读

没有评论

共计 2624 个字符，预计需要花费 7 分钟才能阅读完成。

离线语音识别在移动端落地时会遇到几个典型挑战，这些问题直接影响最终用户体验：

模型体积过大 ：完整的语音识别模型动辄上百 MB，这在移动端简直是灾难
响应延迟高 ：从说话结束到出结果的时间超过 1 秒就会让用户明显感到卡顿
多语言支持差 ：很多框架对中文的识别准确率远低于英语
环境干扰严重 ：移动设备所处的环境噪音会显著降低识别准确率

优点：
– 完全开源可定制
– 支持模型量化压缩
– 跨平台一致性高

缺点：
– 需要自行处理音频流
– 中文社区支持较弱

优点：
– Google 官方维护
– 开箱即用的 API
– 支持 60+ 语言

缺点：
– 无法深度定制模型
– 部分功能需要联网

优点：
– 中文优化好
– 提供完整解决方案

缺点：
– 商业授权复杂
– 黑盒难以调试

首先需要将训练好的语音识别模型转换为 TFLite 格式：

import tensorflow as tf

# 加载原始模型
model = tf.keras.models.load_model('speech_model.h5')

# 转换为 TFLite 格式
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]  # 启用默认优化
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS]

# 执行量化
converter.post_training_quantize = True
tflite_model = converter.convert()

# 保存模型
with open('speech_model_quant.tflite', 'wb') as f:
    f.write(tflite_model)

经过量化后，我们的中文语音识别模型从原来的 156MB 缩小到了 42MB。

在 build.gradle 中添加依赖：

dependencies {
    implementation 'org.tensorflow:tensorflow-lite:2.12.0'
    implementation 'org.tensorflow:tensorflow-lite-support:0.4.0'
}

关键点在于正确处理音频采样率和帧大小：

class AudioRecorder(private val sampleRate: Int, private val frameSize: Int) {
    private var recorder: AudioRecord? = null
    private var isRecording = false

    fun start(callback: (ByteArray) -> Unit) {
        val bufferSize = AudioRecord.getMinBufferSize(
            sampleRate,
            AudioFormat.CHANNEL_IN_MONO,
            AudioFormat.ENCODING_PCM_16BIT
        )

        recorder = AudioRecord(
            MediaRecorder.AudioSource.MIC,
            sampleRate,
            AudioFormat.CHANNEL_IN_MONO,
            AudioFormat.ENCODING_PCM_16BIT,
            bufferSize
        )

        recorder?.startRecording()
        isRecording = true

        GlobalScope.launch(Dispatchers.IO) {val buffer = ByteArray(frameSize)
            while (isRecording) {val read = recorder?.read(buffer, 0, buffer.size) ?: 0
                if (read > 0) {callback(buffer.copyOf(read))
                }
            }
        }
    }

    fun stop() {
        isRecording = false
        recorder?.stop()
        recorder?.release()
        recorder = null
    }
}

val executor = Executors.newFixedThreadPool(4)  // 根据 CPU 核心数调整

fun recognizeAsync(audioData: ByteArray) {
    executor.execute {
        // 执行识别任务
        val result = recognizer.recognize(audioData)
        // 回调主线程更新 UI
        mainHandler.post {updateUI(result) }
    }
}

避免频繁创建和销毁 ByteArray：

private val reusableBuffers = ConcurrentLinkedQueue<ByteArray>()

fun getBuffer(size: Int): ByteArray {return reusableBuffers.poll()?.takeIf {it.size == size} 
           ?: ByteArray(size)
}

fun releaseBuffer(buffer: ByteArray) {reusableBuffers.offer(buffer)
}

症状：识别结果全是乱码

解决方案：
1. 确认模型训练时的采样率
2. 使用 AudioRecord.getMinBufferSize() 获取正确配置
3. 必要时使用重采样

症状：新模型加载后崩溃

解决方案：
1. 检查模型输入输出 tensor 形状
2. 确保所有操作符都支持
3. 使用 TFLite Model Analyzer 验证模型

我们在 Redmi Note 11 上的测试结果：