C++使用FFmpeg合成麦克风音频与桌面画面时无声问题的深度解析与解决方案

1次阅读

共计 2320 个字符，预计需要花费 6 分钟才能阅读完成。

在屏幕录制和直播推流等场景中，我们经常需要将麦克风采集的音频与桌面画面实时合成。使用 FFmpeg 库可以高效地实现这一需求，但开发过程中常会遇到生成的视频没有声音的问题。这个问题看似简单，但可能涉及音频设备初始化、流映射、编码参数配置、同步处理等多个环节的失误。

FFmpeg 处理音频流的基本流程主要包含以下几个关键步骤：

初始化音频输入设备（麦克风）
设置音频编码器参数
将音频流正确映射到输出格式上下文
处理音视频同步
写入封装格式

其中任何一个环节出现问题，都可能导致最终生成的视频没有声音。

导致无声问题的常见原因包括：

音频输入设备未正确初始化或打开失败
音频采样率与编码器要求不匹配
音频流未正确映射到输出格式
时间基准 (PTS) 设置错误导致同步问题
编码器参数配置不当
平台相关的音频采集差异

下面是一个完整的 C ++ 代码示例，展示了如何正确实现音频采集与合成的过程：

#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libavdevice/avdevice.h>

// 初始化音频输入
AVFormatContext* init_audio_input(const char* device_name) {avdevice_register_all();

    AVFormatContext* fmt_ctx = nullptr;
    AVInputFormat* input_fmt = av_find_input_format("dshow"); // Windows 平台使用 dshow

    AVDictionary* options = nullptr;
    av_dict_set(&options, "sample_rate", "44100", 0);

    int ret = avformat_open_input(&fmt_ctx, device_name, input_fmt, &options);
    if (ret < 0) {
        // 错误处理
        return nullptr;
    }

    return fmt_ctx;
}

// 配置音频编码器
AVCodecContext* setup_audio_encoder(AVFormatContext* out_fmt_ctx) {AVCodec* audio_codec = avcodec_find_encoder(AV_CODEC_ID_AAC);
    AVCodecContext* codec_ctx = avcodec_alloc_context3(audio_codec);

    codec_ctx->sample_fmt = AV_SAMPLE_FMT_FLTP;
    codec_ctx->bit_rate = 128000;
    codec_ctx->sample_rate = 44100;
    codec_ctx->channels = 2;
    codec_ctx->channel_layout = AV_CH_LAYOUT_STEREO;

    if (out_fmt_ctx->oformat->flags & AVFMT_GLOBALHEADER) {codec_ctx->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;}

    int ret = avcodec_open2(codec_ctx, audio_codec, nullptr);
    if (ret < 0) {
        // 错误处理
        return nullptr;
    }

    return codec_ctx;
}

// 主录制函数
void record_with_audio() {
    // 初始化输入输出格式上下文
    // ...

    // 添加音频流到输出
    AVStream* audio_stream = avformat_new_stream(out_fmt_ctx, nullptr);
    AVCodecContext* audio_codec_ctx = setup_audio_encoder(out_fmt_ctx);
    avcodec_parameters_from_context(audio_stream->codecpar, audio_codec_ctx);

    // 音视频采集和写入循环
    while (!stop_recording) {
        // 采集音频帧
        // ...

        // 设置音频帧的 PTS
        audio_frame->pts = av_rescale_q(audio_samples_count, 
                                      (AVRational){1, audio_codec_ctx->sample_rate}, 
                                      audio_codec_ctx->time_base);
        audio_samples_count += audio_frame->nb_samples;

        // 编码和写入音频帧
        // ...
    }
}