C3D预训练权重实战指南：从零开始掌握视频特征提取

1次阅读

共计 4193 个字符，预计需要花费 11 分钟才能阅读完成。

C3D（Convolutional 3D）模型是一种经典的 3D 卷积神经网络，专门用于视频理解任务。与传统的 2D CNN 不同，C3D 能够同时捕捉视频中的空间和时间特征，这使得它在动作识别、视频分类等任务中表现出色。预训练权重可以让我们在有限的数据集上快速获得良好的性能，避免了从头训练的巨大计算开销。

C3D 的主要优势包括：

能够直接处理视频片段，无需复杂的帧间特征工程
预训练权重通常在大型数据集（如 Sports-1M）上训练，具有良好的泛化能力
模型结构相对简单，计算效率较高

在使用 C3D 预训练权重时，开发者常会遇到以下几个问题：

输入尺寸不匹配：C3D 对输入视频的尺寸有严格要求（通常为 16 帧，112×112 像素）
特征维度不一致：不同层提取的特征维度可能不符合下游任务的期望
预处理流程复杂：视频的采样、归一化等步骤容易出错
内存消耗大：处理长视频时容易超出 GPU 内存限制
视频格式兼容性：不同编码格式的视频可能导致读取失败

首先，我们需要获取 C3D 的预训练权重。这些权重通常以 .pth 或.caffemodel格式提供。以下是使用 PyTorch 加载权重的示例代码：

import torch
import torchvision.models as models

# 初始化 C3D 模型
model = models.video.r3d_18(pretrained=False)
num_features = model.fc.in_features
model.fc = torch.nn.Linear(num_features, 101)  # 假设是 UCF101 的 101 个类别

# 加载预训练权重
pretrained_dict = torch.load('c3d_pretrained.pth')
model_dict = model.state_dict()

# 过滤不匹配的键
pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict}
model_dict.update(pretrained_dict)
model.load_state_dict(model_dict)

# 设置为评估模式
model.eval()

C3D 模型的输入需要特定的预处理流程。以下是一个完整的预处理函数：

import cv2
import numpy as np
import torch
from torchvision import transforms

def preprocess_video(video_path, num_frames=16):
    """
    预处理视频为 C3D 模型输入格式
    :param video_path: 视频文件路径
    :param num_frames: 采样的帧数
    :return: 预处理后的张量 (1, 3, num_frames, 112, 112)
    """
    # 1. 读取视频
    cap = cv2.VideoCapture(video_path)
    total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))

    # 2. 等间隔采样帧
    frame_indices = np.linspace(0, total_frames-1, num_frames, dtype=np.int32)
    frames = []

    for idx in frame_indices:
        cap.set(cv2.CAP_PROP_POS_FRAMES, idx)
        ret, frame = cap.read()
        if ret:
            # 3. 转换为 RGB 格式和调整大小
            frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
            frame = cv2.resize(frame, (171, 128))  # 稍大的尺寸便于后续中心裁剪
            frames.append(frame)
    cap.release()

    # 4. 中心裁剪和归一化
    transform = transforms.Compose([transforms.ToPILImage(),
        transforms.CenterCrop(112),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.43216, 0.394666, 0.37645],
                             std=[0.22803, 0.22145, 0.216989]),
    ])

    # 5. 应用转换并堆叠帧
    processed_frames = torch.stack([transform(frame) for frame in frames])

    # 6. 调整维度顺序 (T, C, H, W) -> (C, T, H, W)
    processed_frames = processed_frames.permute(1, 0, 2, 3)

    # 7. 添加 batch 维度
    return processed_frames.unsqueeze(0)

结合上述组件，下面是完整的特征提取流程：

# 假设模型已经加载并设置为 eval 模式

def extract_features(model, video_path, layer_name='fc6'):
    """
    从指定层提取特征
    :param model: C3D 模型
    :param video_path: 视频路径
    :param layer_name: 要提取特征的层名
    :return: 特征向量
    """
    # 1. 预处理视频
    input_tensor = preprocess_video(video_path)

    # 2. 转移到 GPU（如果可用）device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    input_tensor = input_tensor.to(device)
    model = model.to(device)

    # 3. 注册 hook 获取中间层输出
    features = {}
    def get_features(name):
        def hook(model, input, output):
            features[name] = output.detach()
        return hook

    # 根据 PyTorch 模型结构选择目标层
    target_layer = model.avgpool  # 这里以 avgpool 层为例
    target_layer.register_forward_hook(get_features(layer_name))

    # 4. 前向传播
    with torch.no_grad():
        _ = model(input_tensor)

    # 5. 展平特征
    return features[layer_name].view(features[layer_name].size(0), -1)

处理多个视频时，批处理可以显著提高效率。以下是批处理的实现方式：

def batch_process_videos(video_paths, batch_size=4):
    """
    批处理多个视频
    :param video_paths: 视频路径列表
    :param batch_size: 批大小
    :return: 批处理后的张量
    """
    batches = []
    current_batch = []

    for path in video_paths:
        # 预处理单个视频
        processed = preprocess_video(path)
        current_batch.append(processed)

        # 达到批大小时处理
        if len(current_batch) == batch_size:
            batch = torch.cat(current_batch, dim=0)
            batches.append(batch)
            current_batch = []

    # 处理剩余不足一个 batch 的视频
    if current_batch:
        batch = torch.cat(current_batch, dim=0)
        batches.append(batch)

    return batches