ASR语音识别原理解析：从声波到文字的完整技术链路

1次阅读

共计 2446 个字符，预计需要花费 7 分钟才能阅读完成。

自动语音识别（Automatic Speech Recognition, ASR）本质上是将声波信号转化为文字的过程。整个过程可以分为以下几个关键步骤：

音频输入：麦克风采集声音信号，通常以 PCM 格式存储
预处理：包括预加重（Pre-emphasis）、分帧（Framing）、加窗（Windowing）等操作
特征提取：常用梅尔频率倒谱系数（Mel-Frequency Cepstral Coefficients, MFCC）或滤波器组（Filter Bank）特征
声学模型：传统方法使用隐马尔可夫模型（Hidden Markov Model, HMM），现代方法多采用深度神经网络（Deep Neural Network, DNN）
语言模型：统计语言模型（如 N -gram）或神经网络语言模型（如 RNN, Transformer）
解码器：将声学模型输出和语言模型结合，搜索最可能的文字序列

下面是一个完整的 MFCC 特征提取 Python 实现，包含了所有关键步骤：

import numpy as np
import librosa

# 1. 预加重（Pre-emphasis）def pre_emphasis(signal, coeff=0.97):
    return np.append(signal[0], signal[1:] - coeff * signal[:-1])

# 2. 分帧（Framing）def framing(signal, sample_rate, frame_size=0.025, frame_stride=0.01):
    frame_length = int(round(frame_size * sample_rate))
    frame_step = int(round(frame_stride * sample_rate))
    signal_length = len(signal)
    num_frames = int(np.ceil(float(np.abs(signal_length - frame_length)) / frame_step))

    pad_signal_length = num_frames * frame_step + frame_length
    z = np.zeros((pad_signal_length - signal_length))
    pad_signal = np.append(signal, z)

    indices = np.tile(np.arange(0, frame_length), (num_frames, 1)) + \
              np.tile(np.arange(0, num_frames * frame_step, frame_step), (frame_length, 1)).T
    frames = pad_signal[indices.astype(np.int32, copy=False)]
    return frames

# 3. 加窗（Hamming Window）def apply_window(frames, window_size=0.025, sample_rate=16000):
    frame_length = int(round(window_size * sample_rate))
    window = np.hamming(frame_length)
    return frames * window

# 4. 计算 MFCC
def extract_mfcc(signal, sample_rate=16000, n_mfcc=13):
    # 预加重
    emphasized_signal = pre_emphasis(signal)

    # 分帧
    frames = framing(emphasized_signal, sample_rate)

    # 加窗
    windowed_frames = apply_window(frames)

    # 计算 MFCC
    mfcc = librosa.feature.mfcc(
        y=signal, 
        sr=sample_rate, 
        n_mfcc=n_mfcc,
        n_fft=512,
        hop_length=160,
        n_mels=40
    )
    return mfcc.T  # 转置为 (time, n_mfcc) 格式

解码器是 ASR 系统中将声学模型输出转化为文字的关键组件，主要工作流程如下：