C++使用FFmpeg合成麦克风音频与桌面录屏时无声音问题排查与解决

1次阅读

共计 1940 个字符，预计需要花费 5 分钟才能阅读完成。

最近在使用 FFmpeg 库开发一个屏幕录制工具时，遇到了一个典型问题：录制生成的视频文件只有画面没有声音。经过排查发现，这其实是 FFmpeg 音频处理流程中几个关键环节没有正确配置导致的。下面我就把整个排查过程和解决方案分享给大家。

音频流映射错误 ：在复用器(muxer) 中没有正确映射音频流
编码器不匹配：音频编码器参数设置不正确
时间戳不同步 ：音频和视频的 PTS(呈现时间戳) 没有对齐
采样率问题：输入音频和输出容器的采样率不兼容
格式不支持：选择的容器格式不支持特定的音频编码格式

首先需要正确设置音频输入设备。在 Linux 上通常使用 ALSA，Windows 上使用 DSHOW。

AVInputFormat *inputFormat = av_find_input_format("dshow"); // Windows
AVDictionary *options = NULL;
av_dict_set(&options, "sample_rate", "44100", 0);
AVFormatContext *audioContext = NULL;
avformat_open_input(&audioContext, "audio= 麦克风名称", inputFormat, &options);

音频编码器需要与视频编码器匹配，并设置正确的参数：

AVCodec *audioCodec = avcodec_find_encoder(AV_CODEC_ID_AAC);
AVCodecContext *audioCodecContext = avcodec_alloc_context3(audioCodec);
audioCodecContext->sample_rate = 44100;
audioCodecContext->channel_layout = AV_CH_LAYOUT_STEREO;
audioCodecContext->channels = 2;
audioCodecContext->sample_fmt = AV_SAMPLE_FMT_FLTP;
audioCodecContext->bit_rate = 128000;

这是最容易出错的地方，必须确保音频流被正确添加到输出容器：

AVStream *audioStream = avformat_new_stream(outputContext, audioCodec);
avcodec_parameters_from_context(audioStream->codecpar, audioCodecContext);

音频和视频需要保持同步，关键代码：

// 音频帧处理
AVPacket *pkt = av_packet_alloc();
avcodec_send_frame(audioCodecContext, frame);
while (avcodec_receive_packet(audioCodecContext, pkt) >= 0) {
    pkt->stream_index = audioStream->index;
    av_packet_rescale_ts(pkt, audioCodecContext->time_base, audioStream->time_base);
    av_interleaved_write_frame(outputContext, pkt);
}