（三）多模态图像匹配综述

admin管理员组

文章数量:1622542

1、概念：

① 多模态图像匹配是指从两幅或多幅具有显著模态或非线性外观差异的图像中识别并对应相同或相似的结构/内容。

多模态图像匹配（MMIM）有时被称为多模态图像配准（MMIR），可以被视为图像匹配社区中的特定情况。一个更普遍的定义是，要匹配的目标具有显著的非线性外观差异，这些差异通常由不同（不限于）成像传感器或不同成像条件（如昼夜[3-5]，跨天气[6]，跨季节[7]）和输入数据类型（如图像-油漆-草图[8，9]和图像-文本[10-12]）引起。

②方法：

（1）基于区域的框架通常在相似性度量的指导下配准图像对，该相似性度量可以测量图像对准的准确性以驱动配准过程的优化。
（2）基于特征的框架在一般的图像匹配任务和相关应用中更具可操纵性。这些方法通常从区别性特征提取开始，然后匹配具有/不具有特征描述的特征，随后是变换模型估计和图像恢复和变形，从而实现图像配准。

③不足：

（1）第一个限制是不同模态的图像数据不足或不可用。
（2）基于区域的方法高度依赖于相似性度量、几何变换模型和优化方法的适当选择。然而，这些组件也很大程度上受到重叠区域和图像内容的影响[2]。
（3）基于特征的流水线的核心挑战是多模态图像对的特征检测和描述，由于它们的非线性强度差异。在这种情况下，许多广泛使用的特征匹配器提出的一般视觉应用程序将无法操作。

2、基于区域的方法

基于区域的流水线算法利用整幅图像的灰度信息实现图像配准。通常，给定预定义的变换模型，需要相似性度量以及优化方法来估计变换参数，然后通过优化总体代价函数来对齐两幅图像的公共区域。方法流程图：

补充：单模态图像：是指具有相同的成像模式或图像特性的图像。换句话说，这些图像是使用相同的成像技术（如X射线、MRI、CT扫描等）或相似的成像参数（如光照条件、相机设置等）获得的。单模态图像通常具有相似的外观特征和图像统计属性，因此它们之间的配准和分析相对较容易。
两种相似性度量方式：
多模态下的度量方式：

变换模型：（1）线性模型（2）非线性模型（3）物理模型

优化方法：
优化方法的选择可能会在很大程度上影响匹配的准确性和效率。根据优化方法试图推断的变量的性质，它们可以被简要分类为连续方法和离散方法。

3、基于特征点的检测器

（1）概念：

特征检测的核心思想是构建一个响应函数来区分点、线条和区域，以及平坦和不明显的图像区域。这个想法可以进一步分为基于梯度、基于强度、基于二阶导数、基于轮廓曲率、基于区域分割和基于学习的检测器。

（2）特征点分类：

1、角点

（1） 角点特征被定义为通常位于纹理区域或边缘的两条直线交叉点。代表性的角点特征提取响应包括基于梯度、基于强度和基于轮廓曲率的方法。
（2）基于梯度的特征响应是基于图像的一阶信息实现的，Harris检测器通过使用二阶矩阵来构建强度变化，并根据特征值的大小来区分角点特征。基于梯度的策略使得Harris特征在多模态图像匹配中广泛应用，因为梯度可以很好地描述在两个不同模态的图像中保留的结构信息。

这种特征提取方法基于图像的一阶信息，即图像中的灰度梯度，而不涉及图像的具体强度值或颜色信息。因此，它对图像的模态变化不敏感，可以在不同模态的图像中保持一致性。

（3）基于强度的角点检测器旨在通过将强度值与周围像素进行比较来简化梯度计算，FAST检测器采用了相同的概念，通过将中心与沿着圆形图案的像素进行比较，进一步改进以增强重复性和鲁棒性。使用灰度质心方法为每个特征分配一个主方向，使其具有方向不变性，并提出了著名的ORB特征。
（4）基于曲率的策略旨在通过沿着检测到的图像曲线状边缘或轮廓搜索最大曲率来提取角点。

2、斑点特征

（1）斑点特征通常被定义为局部封闭区域，在其中像素被认为是相似的，因此与周围邻域不同。通常有两种策略用于提取稳定的斑点特征：基于二阶偏导数（SPD）和基于分割的检测器。基于SPD的检测器通常基于拉普拉斯尺度空间和/或Hessian矩阵计算以实现尺度和仿射不变性。由此提取的特征，也称为斑点特征，可用（𝑥，𝑦，𝜃）表示，其中（𝑥，𝑦）是特征位置的像素坐标，𝜃表示包括尺度和/或仿射的斑点形状信息。SIFT、SURF检测器使用的就是斑点检测器
(2)特征描述指的是将特征点周围的局部强度映射为稳定且具有区分性的向量形式，从而实现对检测到的特征进行快速简便的匹配。==这一步骤要求两个匹配特征的生成描述符尽可能接近，而两个不匹配特征在描述符空间中相距较远，同时对几何变换、图像外观变化和图像质量具有鲁棒性。描述符设计是基于特征的多模态图像匹配中最关键的部分，直接影响最终性能。 ==
根据所使用的图像线索（如梯度、强度）和描述符生成形式（如比较、统计和学习），我们将现有的描述符分类为浮点型、二进制型和可学习型描述符，后者可以进一步分为梯度统计、局部强度比较、局部强度排序统计和基于学习的方法。

1、描述符类型：

（1）浮点型描述符通常是通过基于梯度或强度线索的统计方法生成的。基于梯度统计的描述符的核心思想是计算梯度的方向，以形成特征描述的浮点向量。SIFT 使用了这种策略来处理每个DoG特征，这被认为是尺度、旋转和光照不变的。

（基于像素值顺序的统计策略是一种描述符生成方法，它不直接使用原始像素强度值，而是根据像素在局部区域内的相对顺序来构建描述符。这种方法的核心思想是将局部区域内像素的顺序信息编码到描述符中，从而使得描述符具有一定程度的旋转不变性和光照不变性，而无需额外的参考方向估计。）

（2）二进制描述符通常基于局部强度的比较策略。这种方法的核心挑战在于比较规则的选择。一个更具代表性的方法是 BRIEF 描述符，它通过在图像块中的若干随机点对上进行强度的二进制测试，并将结果串联起来构建描述符。（这种方法可能会同时牺牲较高的区分性和鲁棒性，特别是在图像对具有显著的非线性强度变化的多模态情况下，其表现可能会更差。）

（3）特征匹配：

1、图匹配（GM）旨在通过定义其中的节点和边，为每个点集构建一个图，然后通过最大化具有图结构相似性先验的整体亲和力得分来建立点对应关系。GM可以简要地分为精确匹配和不精确匹配两类。

2、点集配准：点集配准（PSR）假设点集之间存在已知的全局变换模型，然后通过迭代估计模型参数和点对点的对应关系。其中最具代表性的方案之一是迭代最近点（ICP）及其变种

3、误匹配移除策略

基于特征的方法可以有效地解决几何变形问题。直接特征匹配，如图匹配和点集配准，更适用于包含较少纹理（甚至是二值图像）或重度模态或语义变异的图像对。在这些情况下，基于图像块的描述子将无效。然而，潜在真实点对应关系之间的图结构可能会稳定保留，需要优化整体对应矩阵以找到最优解。

4、遥感多模态图像配准

1、基于区域的配准：核心挑战是如何设计和使用合适的相似度度量来驱动迭代过程，从而准确估计几何变换。一种直接的解决方案是利用或修改信息论下专门为多模态图像设计的常用度量标准，例如互信息（MI）和归一化互信息（NMI），（1）使用互信息的相似性度量对光学和SAR图像配准很有用，并且通过与基于特征的方法结合进一步改进。

（2）基于频率的模态统一：为了避免使用类似互信息方法的局限性，一种更有效的策略是构建图像表示，从而将多模态图像减少到统一的图像。（Registration of translated and rotated images using finite fourier transforms）。

（3）基于描述符的模态统一：实现模态统一的另一种策略是使用特征描述符将图像强度嵌入高维特征空间。为了配准从岛屿和海岸线场景中捕获的MODIS数据中的不同通道，[411]中的作者提出了一种基于改进的加权策略的新型互信息方案，该方案在通过高效的LoG和引导滤波器方法构建的特征图上进行，用于显着特征提取。在[412]中，作者旨在通过类似光流的算法密集地注册光学和SAR图像。

2、基于特征点匹配

1、最直接的策略是通过直接修改现成的方法，如SIFT和Harris，来实现特征检测和描述，作者首先使用SIFT特征算子和仿射模型估计粗略注册多源图像对。然后，在细致尺度的注册过程中，他们提取Harris角点，然后进行分段线性变换。最后，利用三角不规则网络（TIN）和仿射估计进行局部变形矫正。（2008年）

2、Sedaghat等人[207]使用了UR-SIFT [173]来均匀检测局部特征，并引入了一个称为distinctive order-based self-similarity（DOBSS）描述符的先进自相似描述符，以匹配检测到的特征点。然后，通过描述符交叉匹配和受投影变换约束的一致性检查策略来识别可靠的匹配点。在[420]中引入了一种基于排名的局部自相似（RLSS）描述符，以解决光学和SAR图像之间严重的非线性辐射差异问题。提出的RLSS灵感来自Spearman秩相关系数，并进一步用于模板匹配，其中模板匹配使用基于基于块的Harris检测器从图像对中提取的点位置的多个子区域。

3、另一种策略是利用频域中的PC描述检测到的特征，通常将其与PC和经典特征嵌入方法结合使用来设计先进的描述符。Ye等人[421]将PC与方向直方图策略相结合，以描述基于图像的结构属性提取的特征；这个过程称为HOPC。作者首先通过基于块的Harris算子和前k选择来检测控制点，然后在这些控制点周围应用快速模板匹配方案。

4、在结构图的基础上，基于特征的匹配框架可以可靠地执行特征匹配和图像配准。在[428]中提出了另一种新的光学和SAR图像配准方法，该方法基于直线特征提取和MI。Huang等人[142]首先提取边缘特征以抑制噪声。随后，预处理后的特征被视为点集，并使用改进的SC进行匹配，随后用于估计仿射变换。

5、视觉

在计算机视觉领域中，图像匹配的研究最为活跃的是单模态图像对。由于研究人员在通用图像匹配方面的巨大努力和成就，几何变形可以很容易地解决。在这方面，需要更多地关注严重的外观差异。在[178]中，作者首先使用形态学梯度方法提取边缘，然后在边缘图上应用C_SIFT检测器进行不同点搜索和BRIEF描述，从而实现尺度和方向不变的匹配。（红外图像配准）视觉领域对多模态图像研究还在进行中，一般都是可见光和红外图像的配准

本文标签： 图像多模