计算机视觉三大核心任务解析：分类、检测与分割的原理与实践

1次阅读

共计 2913 个字符，预计需要花费 8 分钟才能阅读完成。

计算机视觉已经成为现代 AI 应用中不可或缺的一部分，从医疗影像分析到自动驾驶，从工业质检到智能安防，其应用场景无处不在。在众多计算机视觉任务中，图像分类、目标检测和语义分割是最基础也是最重要的三大核心任务。它们各自解决不同层次的问题，共同构成了计算机视觉的技术体系。

图像分类是计算机视觉中最基础的任务，它的目标是将输入的图像划分到预定义的类别中。这一任务的核心在于如何从原始像素中提取有意义的特征。

卷积神经网络 (CNN) 的演进
早期的 LeNet- 5 首次展示了 CNN 的潜力
AlexNet 在 2012 年 ImageNet 竞赛中一鸣惊人
随后出现了 VGG、ResNet 等更深的网络结构
最新的 EfficientNet 等模型关注计算效率
特征提取机制
卷积层通过局部感受野提取局部特征
池化层降低空间维度，增加平移不变性
非线性激活函数 (如 ReLU) 引入表达能力

# PyTorch 实现 ResNet 特征提取
import torch
import torchvision.models as models

# 输入: [batch_size, 3, 224, 224]的 RGB 图像
def extract_features(image_tensor):
    resnet = models.resnet18(pretrained=True)
    # 移除最后的全连接层
    modules = list(resnet.children())[:-1]  
    model = torch.nn.Sequential(*modules)
    # 输出: [batch_size, 512, 1, 1]的特征向量
    return model(image_tensor)

目标检测不仅需要识别图像中的物体类别，还需要确定它们的位置和范围。这一任务通常通过边界框 (bounding box) 来表示检测结果。

两种主流方法对比
Anchor-based 方法(Faster R-CNN 系列):
- 预定义不同尺度和比例的 anchor
- 通过 RPN(Region Proposal Network)生成候选区域
- 对候选区域进行分类和回归
Anchor-free 方法(YOLO 系列):
- 直接预测物体的中心和尺寸
- 通常速度更快但精度略低
非极大值抑制 (NMS) 实现
解决同一物体被多次检测的问题
根据置信度和 IoU(交并比)筛选最优检测框

# NMS 的 PyTorch 实现
def nms(boxes, scores, threshold=0.5):
    """
    输入:
        boxes: [N,4]的检测框(x1,y1,x2,y2)
        scores: [N]的置信度分数
        threshold: IoU 阈值
    输出:
        keep: 保留的检测框索引
    """
    x1 = boxes[:,0]
    y1 = boxes[:,1]
    x2 = boxes[:,2]
    y2 = boxes[:,3]

    areas = (x2-x1)*(y2-y1)
    _, order = scores.sort(0, descending=True)

    keep = []
    while order.numel() > 0:
        i = order[0]
        keep.append(i)

        if order.numel() == 1:
            break

        xx1 = x1[order[1:]].clamp(min=x1[i].item())
        yy1 = y1[order[1:]].clamp(min=y1[i].item())
        xx2 = x2[order[1:]].clamp(max=x2[i].item())
        yy2 = y2[order[1:]].clamp(max=y2[i].item())

        inter = (xx2-xx1).clamp(min=0) * (yy2-yy1).clamp(min=0)
        iou = inter / (areas[i] + areas[order[1:]] - inter)

        idx = (iou <= threshold).nonzero().squeeze()
        if idx.numel() == 0:
            break
        order = order[idx+1]

    return torch.tensor(keep, dtype=torch.long)

语义分割的目标是为图像中的每个像素分配一个类别标签，实现像素级的场景理解。U-Net 是这一领域的经典架构。

编解码结构设计
编码器 (下采样) 提取高层次特征
解码器 (上采样) 恢复空间分辨率
Skip Connection 连接高低层特征
损失函数考量
交叉熵损失是最常用选择
类别不平衡时可采用 Dice Loss
边界区域可考虑专门设计损失

# U-Net 的 Skip Connection 实现示例
class UNetBlock(nn.Module):
    def __init__(self, in_ch, out_ch):
        super().__init__()
        self.conv1 = nn.Conv2d(in_ch, out_ch, 3, padding=1)
        self.conv2 = nn.Conv2d(out_ch, out_ch, 3, padding=1)
        self.relu = nn.ReLU()

    def forward(self, x):
        # 输入 x: [batch, in_ch, H, W]
        x = self.relu(self.conv1(x))
        x = self.relu(self.conv2(x))
        # 输出: [batch, out_ch, H, W]
        return x

class UNet(nn.Module):
    def __init__(self):
        super().__init__()
        # 定义编码器和解码器层
        # ...

    def forward(self, x):
        # 编码过程
        enc1 = self.enc1(x)
        enc2 = self.enc2(self.pool1(enc1))
        # ...

        # 解码过程(包含 skip connection)
        dec4 = self.up4(enc5)
        dec4 = torch.cat([dec4, enc4], dim=1)
        dec4 = self.dec4(dec4)
        # ...

        return self.final(dec1)

在实际工业应用中，我们常常需要在精度和速度之间做出权衡。以下是几个关键的优化方向：