C++使用FFmpeg合成麦克风音频与桌面录屏时无声音问题排查与解决

1次阅读

共计 2921 个字符，预计需要花费 8 分钟才能阅读完成。

最近在用 C ++ 和 FFmpeg 做麦克风音频与桌面录屏合成时，发现生成的视频没有声音。经过一番排查，发现这是新手在使用 FFmpeg 处理音视频合成时的常见问题。下面我就把整个排查和解决过程记录下来，希望能帮助到遇到同样问题的开发者。

流映射错误：最常见的原因是输出文件中没有正确映射音频流。FFmpeg 需要显式指定将哪个输入流映射到输出文件。
编码器不匹配：音频编码器与输入音频格式不兼容，导致编码失败。
采样率 / 格式问题：输入音频的采样率或采样格式与编码器要求不符。
时间戳不同步 ：音频和视频的时间戳(PTS) 没有正确同步。
硬件采集问题：麦克风设备可能没有被正确打开或配置。

要确保音频被正确合成，我们需要遵循以下步骤：

初始化 FFmpeg：设置所有必要的上下文和参数
打开输入设备：
视频输入：桌面捕获
音频输入：麦克风设备
配置输出格式：
选择合适的容器格式(如 MP4)
设置视频和音频编码器
流映射：
明确指定音频流和视频流如何映射到输出文件
确保所有流都被正确包含
写入帧数据：
处理时间戳同步
交错写入音频和视频帧

下面是一个完整的 C ++ 示例，展示了如何正确设置 FFmpeg 参数来处理音频流：

#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libavdevice/avdevice.h>

int main() {
    // 注册所有设备
    avdevice_register_all();

    AVFormatContext *input_audio_ctx = nullptr;
    AVFormatContext *input_video_ctx = nullptr;
    AVFormatContext *output_ctx = nullptr;

    // 1. 打开音频输入设备
    AVDictionary *audio_options = nullptr;
    av_dict_set(&audio_options, "sample_rate", "44100", 0);
    av_dict_set(&audio_options, "channels", "2", 0);

    if (avformat_open_input(&input_audio_ctx, "audio= 麦克风设备名称", av_find_input_format("dshow"), &audio_options) < 0) {// 错误处理}

    // 2. 打开视频输入设备
    AVDictionary *video_options = nullptr;
    av_dict_set(&video_options, "framerate", "30", 0);

    if (avformat_open_input(&input_video_ctx, "video= 桌面捕获设备名称", av_find_input_format("gdigrab"), &video_options) < 0) {// 错误处理}

    // 3. 创建输出上下文
    avformat_alloc_output_context2(&output_ctx, nullptr, "mp4", "output.mp4");

    // 4. 添加音频流和视频流到输出
    AVStream *audio_stream = avformat_new_stream(output_ctx, nullptr);
    AVStream *video_stream = avformat_new_stream(output_ctx, nullptr);

    // 5. 配置编码器参数
    // ... 编码器配置代码 ...

    // 6. 写入文件头
    avformat_write_header(output_ctx, nullptr);

    // 7. 处理音视频帧
    AVPacket packet;
    while (true) {
        // 从音频设备读取帧
        if (av_read_frame(input_audio_ctx, &packet) >= 0) {
            // 重新计算时间戳
            packet.stream_index = audio_stream->index;
            av_packet_rescale_ts(&packet, input_audio_ctx->streams[0]->time_base, audio_stream->time_base);

            // 写入音频帧
            av_interleaved_write_frame(output_ctx, &packet);
            av_packet_unref(&packet);
        }

        // 从视频设备读取帧
        if (av_read_frame(input_video_ctx, &packet) >= 0) {
            // 重新计算时间戳
            packet.stream_index = video_stream->index;
            av_packet_rescale_ts(&packet, input_video_ctx->streams[0]->time_base, video_stream->time_base);

            // 写入视频帧
            av_interleaved_write_frame(output_ctx, &packet);
            av_packet_unref(&packet);
        }
    }

    // 8. 写入文件尾
    av_write_trailer(output_ctx);

    // 9. 清理资源
    avformat_close_input(&input_audio_ctx);
    avformat_close_input(&input_video_ctx);
    avformat_free_context(output_ctx);

    return 0;
}