计算机视觉三大核心任务解析：从图像分类到目标检测的原理与实践

1次阅读

共计 3550 个字符，预计需要花费 9 分钟才能阅读完成。

计算机视觉任务在实际应用中面临诸多挑战，这些挑战往往会影响模型的性能和鲁棒性。以下是一些最常见的痛点：

光照变化：同一物体在不同光照条件下，其颜色和纹理表现可能完全不同，导致模型难以正确识别。
遮挡问题：物体被部分遮挡时，模型可能无法完整提取其特征，从而影响分类或检测的准确性。
视角变化：同一物体在不同视角下的外观差异较大，增加了特征提取的难度。
背景干扰：复杂的背景可能会干扰模型对前景物体的注意力，尤其是在目标检测任务中。
小样本问题：某些类别的样本数量不足，导致模型在这些类别上的表现较差。

这些挑战使得计算机视觉任务在实际应用中需要更复杂的模型和更精细的调优策略。

计算机视觉中最核心的三种任务是图像分类、目标检测和语义分割。它们在输入和输出上有显著差异，以下是它们的对比表格：

任务类型	输入	输出
图像分类	单张图像	图像的类别标签
目标检测	单张图像	图像中所有目标的类别和边界框（Bounding Box）
语义分割	单张图像	图像中每个像素的类别标签

从表格中可以看出，这三种任务从简单到复杂，逐步增加了对图像信息的提取粒度。图像分类只需要识别图像的整体类别，目标检测需要定位每个目标的位置和类别，而语义分割则需要精确到每个像素的类别。

图像分类是计算机视觉中最基础的任务，其核心是通过卷积神经网络（CNN）提取图像的特征，然后通过全连接层和 Softmax 函数输出类别概率。典型的 CNN 结构包括卷积层、池化层和全连接层。

卷积层：通过卷积核（Kernel）在图像上滑动，提取局部特征。卷积核的大小（如 3 ×3 或 5 ×5）和步长（Stride）是关键参数。
池化层：通常使用最大池化（Max Pooling）或平均池化（Average Pooling）来降低特征图的空间维度，减少计算量并增强模型的平移不变性。
全连接层：将提取的特征映射到类别空间，最终通过 Softmax 函数输出概率分布。

图像分类的损失函数通常使用交叉熵损失（Cross-Entropy Loss），其公式为：

$$
L = -\sum_{i=1}^{N} y_i \log(p_i)
$$

其中，$y_i$ 是真实标签，$p_i$ 是模型预测的概率。

目标检测不仅需要识别图像中的物体类别，还需要定位它们的位置。YOLO（You Only Look Once）是一种经典的目标检测算法，其核心思想是将图像划分为网格，每个网格预测多个边界框和类别概率。

边界框预测：每个边界框由中心坐标（x, y）、宽度（w）、高度（h）和置信度（Confidence）组成。
非极大值抑制（NMS）：用于去除冗余的边界框，保留置信度最高的预测结果。NMS 的阈值（如 0.5）是一个关键参数。

目标检测的损失函数通常包括边界框坐标损失、置信度损失和类别损失三部分。

语义分割的目标是为图像中的每个像素分配一个类别标签。UNet 是一种常用的语义分割架构，其特点是具有编码器 - 解码器结构。

编码器：通过卷积和池化逐步降低特征图的空间分辨率，提取高层次特征。
解码器：通过上采样（Upsampling）和跳跃连接（Skip Connection）逐步恢复空间分辨率，同时融合低层次特征以提高分割精度。

语义分割的损失函数通常使用交叉熵损失或 Dice 损失（Dice Loss）。

import torch
import torchvision.models as models
import torchvision.transforms as transforms
from PIL import Image

# 加载预训练的 ResNet18 模型
model = models.resnet18(pretrained=True)
model.eval()

# 图像预处理
preprocess = transforms.Compose([transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])

# 加载图像并预处理
image = Image.open("image.jpg")
input_tensor = preprocess(image)
input_batch = input_tensor.unsqueeze(0)

# 模型推理
with torch.no_grad():
    output = model(input_batch)

# 输出概率
probabilities = torch.nn.functional.softmax(output[0], dim=0)
print(probabilities)

YOLOv5 的推理代码较为复杂，以下是简化版的边界框解析示例：

import torch

# 假设 pred 是模型的输出，形状为[1, 25200, 85]
pred = model(img)

# 解析边界框
boxes = pred[..., :4]  # x, y, w, h
conf = pred[..., 4]    # 置信度
cls = pred[..., 5:]    # 类别概率

# 应用 NMS
indices = torch.ops.torchvision.nms(boxes, conf, iou_threshold=0.5)

# 获取最终检测结果
detections = pred[0][indices]

import torch
import torch.nn as nn

class UNet(nn.Module):
    def __init__(self):
        super(UNet, self).__init__()
        # 编码器部分
        self.encoder = nn.Sequential(nn.Conv2d(3, 64, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(64, 64, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=2, stride=2)
        )
        # 解码器部分
        self.decoder = nn.Sequential(nn.Conv2d(64, 64, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(64, 64, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.ConvTranspose2d(64, 64, kernel_size=2, stride=2)
        )
        # 最终分类层
        self.final = nn.Conv2d(64, num_classes, kernel_size=1)

    def forward(self, x):
        x1 = self.encoder(x)
        x2 = self.decoder(x1)
        out = self.final(x2)
        return out

未做数据增强：数据增强（Data Augmentation）是提升模型泛化能力的重要手段。常见的增强方法包括随机旋转、翻转、裁剪和颜色变换。如果忽略数据增强，模型容易过拟合训练集。
忽略模型量化：在实际部署中，模型量化（Quantization）可以显著减少模型大小和推理时间。例如，将浮点权重转换为 8 位整数，可以在几乎不损失精度的情况下提升推理速度。
不合理的批处理大小：批处理大小（Batch Size）对训练速度和模型性能有重要影响。过大的批处理可能导致 GPU 显存不足，而过小的批处理可能使训练不稳定。建议根据 GPU 显存选择合适的批处理大小，并在训练过程中监控显存占用。

批处理大小选择：批处理大小应尽可能大，以充分利用 GPU 的并行计算能力，但也要避免显存溢出。可以通过逐步增加批处理大小来找到最优值。
GPU 显存占用监控 ：使用工具如nvidia-smi 监控显存占用，确保训练过程中显存使用率在合理范围内。如果显存不足，可以尝试梯度累积（Gradient Accumulation）来模拟更大的批处理大小。