FFmpeg 使用 MediaCodec 解码后通过 hwdownload 到内存缩放的性能优化实践

151次阅读

共计 1737 个字符，预计需要花费 5 分钟才能阅读完成。

在移动端视频处理中，使用 FFmpeg 结合 MediaCodec 硬件解码可以显著提升解码性能，但随之而来的数据从 GPU 内存下载到系统内存并进行缩放的问题却常常成为性能瓶颈。本文将详细解析如何使用 hwdownload 进行高效内存操作，并提供完整的实现方案。

移动端视频处理对性能要求极高，尤其是在实时视频编辑、直播推流等场景下。MediaCodec 提供了硬件解码能力，但解码后的数据通常存储在 GPU 内存中，而后续处理（如缩放、滤镜等）往往需要在系统内存中进行。传统方法通过 swscale 进行软件缩放，但性能较差，容易成为瓶颈。

swscale：纯软件实现，兼容性好，但性能较低，尤其在高分辨率下。
hwdownload + swscale：通过 hwdownload 将数据从 GPU 内存下载到系统内存，再用 swscale 缩放，性能优于纯软件方案。
纯硬件加速方案 ：如 Vulkan 或 OpenCL，性能最高，但实现复杂，兼容性较差。

综合来看，hwdownload 是一个折中方案，既能利用硬件解码的优势，又能在系统内存中灵活处理数据。

配置硬件解码器 ：
使用 av_hwdevice_ctx_create 初始化硬件设备上下文。
设置解码器的 hw_frames_ctx 以启用硬件解码。
使用 hwdownload 下载数据 ：
通过 hwdownload 过滤器将 GPU 内存数据下载到系统内存。
示例过滤器图：hwdownload,format=nv12,scale=w=640:h=360。
缩放处理 ：
在 hwdownload 后接 scale 过滤器进行缩放。
注意设置正确的像素格式（如 nv12 或 yuv420p）。

AVBufferRef *hw_device_ctx = NULL;
av_hwdevice_ctx_create(&hw_device_ctx, AV_HWDEVICE_TYPE_MEDIACODEC, NULL, NULL, 0);

// 配置解码器
AVCodecContext *decoder_ctx = avcodec_alloc_context3(decoder);
decoder_ctx->hw_device_ctx = av_buffer_ref(hw_device_ctx);

// 初始化过滤器图
AVFilterGraph *filter_graph = avfilter_graph_alloc();
AVFilterContext *buffer_src_ctx, *buffer_sink_ctx;

// 添加 hwdownload 和 scale 过滤器
const char *filter_desc = "hwdownload,format=nv12,scale=w=640:h=360";
avfilter_graph_parse2(filter_graph, filter_desc, &buffer_src_ctx, &buffer_sink_ctx);

// 处理帧
AVFrame *hw_frame = av_frame_alloc();
avcodec_receive_frame(decoder_ctx, hw_frame);

AVFrame *sw_frame = av_frame_alloc();
av_hwframe_transfer_data(sw_frame, hw_frame, 0);