Android离线语音识别实战：从零搭建到性能优化全指南

1次阅读

没有评论

共计 3124 个字符，预计需要花费 8 分钟才能阅读完成。

在移动应用开发中，语音识别已经成为提升用户体验的重要功能。然而，依赖在线服务的语音识别方案存在几个明显缺陷：

网络依赖性：在弱网或无网络环境下无法使用
隐私风险：用户语音数据需要上传到云端处理
延迟问题：网络传输和云端处理增加响应时间
成本问题：持续使用云端 API 会产生额外费用

离线语音识别方案能有效解决这些问题，但同时也面临挑战：

模型大小限制：移动端存储资源有限
计算资源竞争：需要与其他应用共享 CPU/GPU
实时性要求：用户期望即时反馈

Android 平台上实现离线语音识别主要有三种技术路线：

TensorFlow Lite
优点：高度可定制，支持模型量化，跨平台兼容
缺点：需要自行处理音频管道
ML Kit
优点：Google 官方支持，集成简单
缺点：模型不可定制，功能受限
第三方 SDK
优点：开箱即用
缺点：黑盒实现，授权费用，隐私风险

我们选择 TensorFlow Lite 的原因在于：

完全离线，无隐私顾虑
支持模型量化减小体积
可以针对中文语音优化模型
灵活适应不同硬件配置

语音识别的第一步是将原始音频转换为模型能理解的 MFCC 特征。关键代码如下：

// 设置音频参数
const val SAMPLE_RATE = 16000 // 16kHz 采样率
const val FRAME_SIZE = 512    // 帧大小
const val MFCC_DIM = 40       // MFCC 特征维度

fun processAudio(buffer: ShortArray): FloatArray {
    // 1. 预加重
    val preEmphasized = preEmphasis(buffer, 0.97f)

    // 2. 分帧加窗
    val frames = frameSignal(preEmphasized, FRAME_SIZE, 0.5f)

    // 3. 计算 MFCC
    val mfccs = calculateMFCCs(frames, SAMPLE_RATE, MFCC_DIM)

    return mfccs.flatten().toFloatArray()
}

将训练好的.tflite 模型放入 assets 文件夹，然后加载：

// 在 Assets 中加载模型
fun loadModel(context: Context): Interpreter {
    val assetManager = context.assets
    val inputStream = assetManager.open("speech_model.tflite")
    val model = inputStream.readBytes()

    // 配置量化选项
    val options = Interpreter.Options().apply {setUseNNAPI(true) // 启用神经网络加速
        setNumThreads(4)  // 使用 4 线程
    }

    return Interpreter(ByteBuffer.wrap(model), options)
}

实现流式处理需要 CircularBuffer 来管理音频数据：

class AudioBuffer(size: Int) {private val buffer = ShortArray(size)
    private var head = 0

    fun addSamples(samples: ShortArray) {if (samples.size > buffer.size) {
            System.arraycopy(samples, samples.size - buffer.size, 
                           buffer, 0, buffer.size)
            head = 0
        } else {
            val remaining = buffer.size - head
            if (samples.size <= remaining) {System.arraycopy(samples, 0, buffer, head, samples.size)
                head += samples.size
            } else {System.arraycopy(samples, 0, buffer, head, remaining)
                System.arraycopy(samples, remaining, buffer, 0, samples.size - remaining)
                head = samples.size - remaining
            }
        }
    }

    fun getFrame(frameSize: Int): ShortArray {val frame = ShortArray(frameSize)
        if (head >= frameSize) {System.arraycopy(buffer, head - frameSize, frame, 0, frameSize)
        } else {System.arraycopy(buffer, buffer.size - (frameSize - head), frame, 0, frameSize - head)
            System.arraycopy(buffer, 0, frame, frameSize - head, head)
        }
        return frame
    }
}

量化前后对比：

指标	原始模型	量化模型
大小	45MB	12MB
内存	220MB	85MB
延迟	380ms	210ms

在 Pixel 6 上的端到端延迟：

音频采集到预处理：35ms
模型推理：180ms
后处理：25ms
总延迟：240ms

过滤非普通话内容
统一标点符号格式
去除背景噪声样本
平衡男女声比例
验证文本拼音一致性

避免缓冲区溢出的关键参数：

val bufferSize = AudioRecord.getMinBufferSize(
    SAMPLE_RATE,
    AudioFormat.CHANNEL_IN_MONO,
    AudioFormat.ENCODING_PCM_16BIT
) * 2 // 两倍最小缓冲区

val audioRecord = AudioRecord(
    MediaRecorder.AudioSource.VOICE_RECOGNITION,
    SAMPLE_RATE,
    AudioFormat.CHANNEL_IN_MONO,
    AudioFormat.ENCODING_PCM_16BIT,
    bufferSize
)

结合 Jetpack Compose 实现波形可视化的思路：

在 AudioRecord 回调中获取实时音频数据
计算每帧的 RMS 值作为波形高度
使用 Compose 的 Canvas 绘制波形
添加动画效果平滑过渡

示例代码：

@Composable
fun WaveformDisplay(audioData: List<Float>) {Canvas(modifier = Modifier.fillMaxWidth().height(100.dp)) {val path = Path().apply {moveTo(0f, size.height / 2)
            audioData.forEachIndexed { i, amplitude ->
                val x = i.toFloat() / audioData.size * size.width
                val y = size.height / 2 + amplitude * 50
                lineTo(x, y)
            }
        }
        drawPath(path, color = Color.Blue, style = Stroke(width = 2f))
    }
}

实现高质量的离线语音识别需要平衡准确率、延迟和资源占用。通过本文的技术方案，我们能够在普通 Android 设备上实现：