C++使用FFmpeg合成麦克风音频与桌面画面时无声问题解决方案

1次阅读

没有评论

共计 2171 个字符，预计需要花费 6 分钟才能阅读完成。

最近在用 C ++ 和 FFmpeg 做屏幕录制工具时，遇到了一个经典问题：合成的视频画面正常，但完全没有声音。经过一番折腾终于解决了这个问题，这里把排查过程和解决方案整理成笔记，希望能帮到遇到同样问题的朋友。

当我们尝试用 FFmpeg 同时捕获麦克风音频和桌面画面时，理想情况下应该输出一个音画同步的 MP4 文件。但实际运行时经常会出现以下现象：

视频文件能正常播放且画面完整
视频时长符合预期
但播放时完全没有声音
用 ffprobe 检查发现视频中可能根本没有音频流

通过调试和查阅文档，发现导致无声的常见原因主要有以下几个：

音频流未被正确添加：在输出容器中忘记添加音频流，或者添加了但格式不匹配
编码器配置错误：音频编码器的采样率、声道数等参数与输入设备不匹配
时间基准不一致 ：音频和视频使用不同的时间基准(time_base) 导致同步失败
数据包写入顺序 ：音视频帧写入顺序混乱导致复用器(muxer) 丢弃音频包
设备权限问题：麦克风设备未被正确打开或系统权限不足

下面是修正后的关键代码片段（使用 FFmpeg 4.4+ API）：

// 初始化音频编码器上下文
AVCodecContext* setup_audio_codec(AVFormatContext* fmt_ctx) {const AVCodec* audio_codec = avcodec_find_encoder(fmt_ctx->oformat->audio_codec);
    AVCodecContext* c = avcodec_alloc_context3(audio_codec);

    c->bit_rate = 128000;
    c->sample_fmt = audio_codec->sample_fmts[0];
    c->sample_rate = 44100; // 必须与输入设备一致
    c->channel_layout = AV_CH_LAYOUT_STEREO;
    c->channels = 2;
    c->time_base = (AVRational){1, c->sample_rate}; // 关键！音频时间基准

    if (fmt_ctx->oformat->flags & AVFMT_GLOBALHEADER)
        c->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;

    avcodec_open2(c, audio_codec, nullptr);
    return c;
}

// 主录制循环中的关键处理
while (recording) {
    // 优先处理音频包（防止队列积压）if (av_compare_ts(audio_next_pts, audio_ctx->time_base,
                     video_next_pts, video_ctx->time_base) <= 0) {AVPacket pkt = get_audio_packet();
        pkt.stream_index = audio_stream->index;
        pkt.pts = audio_next_pts;
        pkt.dts = pkt.pts;
        audio_next_pts += pkt.duration;

        av_interleaved_write_frame(fmt_ctx, &pkt); // 必须用 interleaved 写入
        av_packet_unref(&pkt);
    } else {// 处理视频帧...}
}

几个关键点说明：