Computer Vision | LocalImageFeaturesAndMatching

一、哈里斯角的不变性

Harris Corners 哈里斯角

结构矩阵：

2.
结构矩阵：

Affine intensity change 仿射强度变化

仅使用导数=>强度偏移I->I+b的不变性

强度缩放：I ->a I

Image translation 图像翻译

导数和窗函数是平移不变的。

Image rotation 图像旋转

Scaling 缩放比例

所有点都将被分类为边。
角点位置与缩放不相关！

到目前为止：可以在x-y中定位，但不能缩放。

二、特征点的“比例”

Automatic Scale Selection 自动刻度选择

如何找到f响应相等的补丁大小？什么是好的f？

增加标度的函数响应（标度特征）。

什么是有用的特征函数f？

“Blob（斑点）”探测器常见于拐角处
——高斯（LoG）的拉普拉斯（二阶导数）

在位置标度空间中求局部极大值

Alternative approach 替代方法

高斯差分（DoG）近似LoG：

Interest points 兴趣点

关键点检测：可重复且独特
角点（Corners）、斑点（blobs）、稳定区域（stable regions）
哈里斯（Harris），DoG

选择兴趣点检测器

1. 为什么选择？
   用更多的探测器收集更多的点，以便进行更多可能的匹配。
2. 你想要干什么？
   x-y精确定位：Harris
   良好的尺度局部化：高斯差分（Difference of Gaussian）
   柔性区域形状：MSER
3. 最佳选择通常取决于应用程序
   harris-/hessian-laplace/dog在许多自然类别中都很有效
   MSER适用于建筑和印刷品

三、Local Image Descriptors 局部图像描述

局部特征：主要组件

Image representations 图像表示

1. 模板：强度、阶级等。
2. 直方图：颜色、纹理、SIFT描述符等。

图像表示：直方图（Histograms）

1. 联合直方图（Joint histogram）
   需要大量数据
   避免空箱子的分辨率降低

2. 边缘直方图（Marginal histogram）
   需要独立功能
   比联合直方图更多的数据（data）/bin

3. 聚类（Clustering）：对所有图像使用相同的聚类中心
   

Computing histogram distance 计算直方图距离

直方图相交（假设为标准化直方图）

直方图：实现问题

1. 量化（Quantization）
   网格（Grids）：快速，但仅适用于很少的维度；
   聚类（Clustering）：速度较慢，但可以量化更高维度的数据。
2. 匹配（Matching）
   直方图相交或欧几里德可能更快；
   卡方检验（Chi-squared）通常效果更好；
   当附近的bins代表相似的值时，土方运输机的距离（Earth mover’s distance）更有利。

   计算直方图的目的

3. 颜色
4. 模型局部外观
5. 纹理
6. 定向梯度的局部直方图
7. sift：尺度不变特征变换——非常受欢迎（4万条引用）
   

   SIFT描述符格式

8. 在本地16 x 16窗口进行计算。
9. 根据发现的方向θ和标度σ（增益不变性）旋转和缩放窗口。
10. 计算由一半窗口的高斯方差加权的梯度（用于平滑衰减）。
    

    SIFT矢量形成

    梯度方向直方图的4x4数组，按梯度大小加权。
    按8个方向放置X 4x4阵列=128维。
    
    保证平滑度
    
    降低光源影响

    SIFT

11. 高斯尺度空间极值的差分
12. 后处理
    位置插值
    丢弃低对比度点
    沿边消除点
13. 方位估计
14. 描述符提取
    动机：我们希望对空间布局有一些敏感度，但不要太多，所以直方图块给了我们这些。

    SIFT定向规范化

    计算方向直方图；
    选择主导方向θ；
    规格化：旋转到固定方向。

    SIFT描述符提取

    给定具有比例和方向的关键点：
15. 选取与估计尺度最接近的尺度空间图像；
16. 重新采样图像以匹配方向或从矢量中减去检测器的方向，使图像旋转不变性。
    

    局部描述符：SURF

    SIFT思想的快速逼近：用2D盒滤波器和积分图像进行有效计算比SIFT快6倍物体识别的等效质量

    局部描述符

17. 大多数特性可以看作是模板、直方图（计数）或组合。
18. 理想的描述符应该是：
    强健有特色；
    紧凑高效。
19. 大多数可用的描述符关注边缘/梯度信息：
    捕获纹理信息；
    很少使用的颜色。

四、Feature Matching 特征匹配

Bijective 双射：

Injective 内射

Surjective 满射

Euclidean distance vs. Cosine Similarity 欧氏距离与余弦相似性

Euclidean distance 欧氏距离

Cosine similarity 余弦

特征匹配的标准

标准1：

1. 计算特征空间中的距离，例如128个Sift描述符之间的欧几里德距离
2. 匹配点到最近距离（最近邻）
   问题：
   所有的东西都匹配吗？

标准2：

3. 计算特征空间中的距离，例如128个Sift描述符之间的欧几里德距离
4. 匹配点到最近距离（最近邻）
5. 忽略任何高于阈值的内容（不匹配！）

问题：
6. 门槛难挑
7. 不明显的特征可能有很多相似的匹配，只有一个是正确的

最近邻距离比

Interest points 兴趣点

1. 关键点检测（Keypoint detection）：可重复且独特
   角点（Corners）、斑点（blobs）、稳定区域（stable regions）
   哈里斯（Harris），DoG
2. 描述符（Descriptors）：健壮和选择性
   方位的空间直方图
   SIFT