ASRPro 语音识别入门实战：从零搭建高准确率语音转文本系统

1次阅读

共计 2191 个字符，预计需要花费 6 分钟才能阅读完成。

在智能家居场景中，当用户说 ” 打开客厅的灯 ” 时，系统需要准确区分背景电视声和指令。工业现场的设备故障语音报警（如 ” 电机过载 ”）常伴随 60 分贝以上的环境噪音，传统识别方案错误率高达 40%。

框架	中文支持	硬件需求	流式处理	模型大小
Kaldi	需调参	高	不支持	500MB+
DeepSpeech	一般	中	支持	300MB
ASRPro	优化	低	支持	50MB

ASRPro 采用轻量级 LSTM-CTC 架构，中文普通话识别准确率在 AISHELL- 1 测试集达到 92.7%，支持树莓派等边缘设备。

import pyaudio

# 配置音频参数
CHUNK = 1024  # 每次读取的帧数
FORMAT = pyaudio.paInt16  # 16 位采样深度
CHANNELS = 1  # 单声道
RATE = 16000  # 16kHz 采样率

# 初始化音频流
p = pyaudio.PyAudio()
stream = p.open(format=FORMAT,
                channels=CHANNELS,
                rate=RATE,
                input=True,
                frames_per_buffer=CHUNK)

Mel 频率倒谱系数 (Mel-Frequency Cepstral Coefficients) 提取步骤：
1. 预加重：通过一阶 FIR 滤波器提升高频成分
2. 分帧加窗：每帧 20ms，使用汉明窗减少频谱泄漏
3. 快速傅里叶变换 (FFT) 转换到频域
4. Mel 滤波器组处理，模拟人耳听觉特性
5. 离散余弦变换 (DCT) 得到倒谱系数

import librosa

def extract_mfcc(audio, sr=16000):
    # 提取 40 维 MFCC 特征
    mfcc = librosa.feature.mfcc(
        y=audio,
        sr=sr,
        n_mfcc=40,
        n_fft=512,
        hop_length=160
    )
    # 进行均值方差归一化
    mfcc = (mfcc - np.mean(mfcc)) / np.std(mfcc)
    return mfcc.T  # 转置为(time_steps, features)

from asrpro import ASREngine

# 初始化引擎
engine = ASREngine(
    model_path='asrpro_cn_v1.0.onnx',
    vocab_file='vocab.txt'
)

# 执行识别
audio = load_audio('test.wav')
features = extract_mfcc(audio)
text = engine.inference(features)  # 输出原始文本

# 后处理（添加标点）processed_text = add_punctuation(text)

from concurrent.futures import ThreadPoolExecutor

# 创建 4 个线程的池
pool = ThreadPoolExecutor(max_workers=4)

# 提交识别任务
future = pool.submit(engine.inference, features)
result = future.result()

import websockets

async def handle_audio(websocket):
    buffer = []
    while True:
        chunk = await websocket.recv()
        buffer.append(chunk)
        if len(buffer) > 5:  # 每积累 5 个 chunk 识别一次
            text = engine.stream_inference(buffer)
            await websocket.send(text)
            buffer = buffer[-2:]  # 保留最后 2 个 chunk 做上下文

采样率问题：
现象：识别结果乱码
检查：librosa.get_samplerate(audio_path)

解决：统一转换为 16kHz

audio, _ = librosa.load('input.wav', sr=16000)

背景噪声抑制：

使用谱减法预处理

def spectral_subtraction(audio, noise_level=0.1):
    stft = librosa.stft(audio)
    magnitude = np.abs(stft)
    phase = np.angle(stft)
    # 噪声估计（前 20 帧作为噪声样本）noise = np.mean(magnitude[:, :20], axis=1)
    clean_mag = np.maximum(magnitude - noise_level*noise, 0)
    clean_stft = clean_mag * np.exp(1j*phase)
    return librosa.istft(clean_stft)