C++使用FFmpeg合成麦克风音频与桌面画面时无声问题解决方案

1次阅读

共计 3150 个字符，预计需要花费 8 分钟才能阅读完成。

最近在用 C ++ 和 FFmpeg 做一个屏幕录制工具，需要同时捕获麦克风音频和桌面画面，然后合成一个视频文件。开发过程中遇到了一个典型问题：生成的视频画面正常，但完全没有声音。经过一番排查和调试，终于找到了问题根源并解决了这个问题。下面就把我的经验和解决方案分享给大家。

经过反复测试和查阅资料，我发现导致视频无声的主要原因通常有以下几种：

音频流未正确添加到输出容器：虽然捕获了音频数据，但没有将其作为流正确添加到最终的视频文件中。
编码器配置错误：音频编码器的参数设置不当，比如采样率、声道数不匹配，导致编码失败。
时间基准 (time_base) 不一致：音频和视频的时间基准设置不同，导致同步问题。
PTS(演示时间戳)未正确设置：音频帧的 PTS 没有按递增顺序正确设置，导致播放器无法正确解码。
复用器 (muxer) 不支持音频格式：选择的输出容器格式不支持你使用的音频编码格式。

下面是一个完整的 C ++ 代码示例，展示了如何正确捕获音频、配置编码器并将音频流添加到输出视频中。代码使用了 FFmpeg 的最新 API，并添加了详细注释。

// 初始化音频编码器
AVCodecContext* init_audio_codec(AVFormatContext* fmt_ctx) {
    // 查找音频编码器
    const AVCodec* audio_codec = avcodec_find_encoder(AV_CODEC_ID_AAC);
    if (!audio_codec) {
        std::cerr << "无法找到音频编码器" << std::endl;
        return nullptr;
    }

    // 创建音频流
    AVStream* audio_stream = avformat_new_stream(fmt_ctx, audio_codec);
    if (!audio_stream) {
        std::cerr << "无法创建音频流" << std::endl;
        return nullptr;
    }

    // 配置音频编码上下文
    AVCodecContext* codec_ctx = avcodec_alloc_context3(audio_codec);
    codec_ctx->sample_fmt = AV_SAMPLE_FMT_FLTP;
    codec_ctx->bit_rate = 128000;
    codec_ctx->sample_rate = 44100;
    codec_ctx->channels = 2;
    codec_ctx->channel_layout = AV_CH_LAYOUT_STEREO;

    // 设置时间基准
    audio_stream->time_base = (AVRational){1, codec_ctx->sample_rate};
    codec_ctx->time_base = audio_stream->time_base;

    // 打开编码器
    if (avcodec_open2(codec_ctx, audio_codec, nullptr) < 0) {
        std::cerr << "无法打开音频编码器" << std::endl;
        return nullptr;
    }

    // 将编码器参数复制到流中
    if (avcodec_parameters_from_context(audio_stream->codecpar, codec_ctx) < 0) {
        std::cerr << "无法复制编码器参数到流" << std::endl;
        return nullptr;
    }

    return codec_ctx;
}

// 音频捕获和编码主循环
void capture_and_encode_audio(AVFormatContext* fmt_ctx, AVCodecContext* codec_ctx) {AVPacket* pkt = av_packet_alloc();
    AVFrame* frame = av_frame_alloc();

    // 配置音频帧
    frame->format = codec_ctx->sample_fmt;
    frame->channel_layout = codec_ctx->channel_layout;
    frame->sample_rate = codec_ctx->sample_rate;
    frame->nb_samples = codec_ctx->frame_size;

    // 分配音频帧缓冲区
    if (av_frame_get_buffer(frame, 0) < 0) {
        std::cerr << "无法分配音频帧缓冲区" << std::endl;
        return;
    }

    int64_t pts = 0;
    while (/* 捕获条件 */) {
        // 从麦克风捕获音频数据并填充 frame
        // ...

        // 设置 PTS
        frame->pts = pts;
        pts += frame->nb_samples;

        // 发送帧到编码器
        if (avcodec_send_frame(codec_ctx, frame) < 0) {
            std::cerr << "发送音频帧到编码器失败" << std::endl;
            continue;
        }

        // 接收编码后的包
        while (avcodec_receive_packet(codec_ctx, pkt) >= 0) {
            // 设置流的索引和时间戳
            pkt->stream_index = audio_stream_index;
            av_packet_rescale_ts(pkt, codec_ctx->time_base, 
                                fmt_ctx->streams[audio_stream_index]->time_base);

            // 写入包到输出文件
            if (av_interleaved_write_frame(fmt_ctx, pkt) < 0) {std::cerr << "写入音频包失败" << std::endl;}
            av_packet_unref(pkt);
        }
    }

    // 刷新编码器缓冲区
    // ...

    av_frame_free(&frame);
    av_packet_free(&pkt);
}

根据我的经验，以下是 5 个常见的配置错误及解决方法：

采样率不匹配：麦克风捕获的采样率与编码器设置不一致。解决方法是在初始化音频设备时检查并设置正确的采样率。
声道布局错误 ：立体声麦克风但配置了单声道编码。确保channel_layout 与输入源匹配，比如使用AV_CH_LAYOUT_STEREO。
时间基准不一致 ：音频和视频流使用不同的时间基准会导致同步问题。确保两者的time_base 设置合理且一致。
PTS 未递增：音频帧的 PTS 必须严格递增。解决方法是为每帧计算正确的 PTS 值，通常基于采样数。
容器格式不支持：例如试图将 AAC 音频放入 AVI 容器。选择支持你音频格式的容器，如 MP4。