计算机视觉实战：从Harris到SIFT的图像特征提取与拼接技术详解

1次阅读

共计 3543 个字符，预计需要花费 9 分钟才能阅读完成。

图像特征是计算机视觉中用于描述和识别图像内容的关键元素。它们可以是角点、边缘、纹理等局部特征，也可以是整个图像的全局特征。在本文中，我们将重点介绍四种常用的特征提取方法：Harris 角点检测、HOG（方向梯度直方图）、SIFT（尺度不变特征变换）和 Hough 变换，并通过代码示例展示它们的实现过程。

Harris 角点检测是一种基于图像灰度变化的角点检测方法。它通过计算图像窗口在各个方向移动时的灰度变化来识别角点。Harris 角点检测的核心是角点响应函数：

$$ R = det(M) – k \cdot trace(M)^2 $$

其中，$M$ 是结构张量矩阵，$k$ 是经验常数（通常取 0.04~0.06）。

计算图像在 x 和 y 方向的梯度
构建结构张量矩阵 M
计算角点响应函数 R
非极大值抑制

import cv2
import numpy as np

# 读取图像
img = cv2.imread('image.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# Harris 角点检测
gray = np.float32(gray)
dst = cv2.cornerHarris(gray, blockSize=2, ksize=3, k=0.04)

# 结果膨胀以便标记角点
dst = cv2.dilate(dst, None)

# 设置阈值，标记角点
img[dst > 0.01 * dst.max()] = [0, 0, 255]

# 显示结果
cv2.imshow('Harris Corners', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

HOG（方向梯度直方图）通过计算局部区域内的梯度方向直方图来描述图像特征。它特别适用于行人检测等任务。

计算图像的梯度
将图像划分为小的细胞单元
为每个细胞单元构建梯度方向直方图
将细胞单元组合成更大的块，进行归一化

from skimage.feature import hog
from skimage import exposure
import matplotlib.pyplot as plt

# 读取图像
image = cv2.imread('image.jpg')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# 计算 HOG 特征
fd, hog_image = hog(gray, orientations=8, pixels_per_cell=(16, 16),
                    cells_per_block=(1, 1), visualize=True)

# 显示 HOG 特征
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(8, 4))
ax1.axis('off')
ax1.imshow(gray, cmap=plt.cm.gray)
ax1.set_title('Input image')

# 调整 HOG 图像对比度以便可视化
hog_image_rescaled = exposure.rescale_intensity(hog_image, in_range=(0, 10))

ax2.axis('off')
ax2.imshow(hog_image_rescaled, cmap=plt.cm.gray)
ax2.set_title('HOG')
plt.show()

SIFT（尺度不变特征变换）是一种对旋转、尺度缩放、亮度变化等保持不变的局部特征描述子。

尺度空间极值检测
关键点定位
方向分配
关键点描述

# 创建 SIFT 对象
sift = cv2.SIFT_create()

# 检测关键点和描述子
keypoints, descriptors = sift.detectAndCompute(gray, None)

# 绘制关键点
img_sift = cv2.drawKeypoints(gray, keypoints, img)

# 显示结果
cv2.imshow('SIFT Features', img_sift)
cv2.waitKey(0)
cv2.destroyAllWindows()

图像拼接是将多幅有重叠区域的图像合并成一幅宽视角图像的过程。主要步骤包括特征提取、特征匹配、图像变换和图像融合。

import numpy as np
import cv2

# 读取两幅图像
img1 = cv2.imread('image1.jpg')
img2 = cv2.imread('image2.jpg')

gray1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)

# 使用 SIFT 检测关键点和描述子
sift = cv2.SIFT_create()
kp1, des1 = sift.detectAndCompute(gray1, None)
kp2, des2 = sift.detectAndCompute(gray2, None)

# 使用 FLANN 匹配器进行特征匹配
FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)
search_params = dict(checks=50)

flann = cv2.FlannBasedMatcher(index_params, search_params)
matches = flann.knnMatch(des1, des2, k=2)

# 筛选好的匹配点
good = []
for m, n in matches:
    if m.distance < 0.7 * n.distance:
        good.append(m)

# 计算单应性矩阵
if len(good) > 10:
    src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2)
    dst_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 1, 2)

    H, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)

    # 应用单应性矩阵进行图像变换
    height, width = img2.shape[:2]
    result = cv2.warpPerspective(img1, H, (width + img1.shape[1], height))
    result[0:img2.shape[0], 0:img2.shape[1]] = img2

    # 显示拼接结果
    cv2.imshow('Stitched Image', result)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
else:
    print("Not enough matches are found - {}/{}".format(len(good), 10))