- 对航空影像进行线匹配时，线特征通常会出现遮挡、变形及断裂等情况，使得基于形态的全局描述 符不再适用。基于此，欧阳欢等人［63］联合点特征匹 配优势，通过对线特征进行离散化描述并结合同名 点约束实现航空影像线特征匹配。 线特征离散化， 即将线看做离散点，通过统计线上同名点的分布情 况来确定线特征的初匹配结果，最后利用点线之间 距离关系对匹配结果进行核验。同名点约束包括单 应性约束和核线约束，单应性约束实现线特征之间 的位置约束，核线约束将匹配搜索空间从 2 维降至 1 维。线上离散点的匹配约束如图 9 所示，IL 为目 标影像，l1 为目标线特征，p 为其上一点; IＲ 为待匹 配影像，线 E 代表 p 所对应核线，p' 为 p 由单应性矩 阵映射得到的对应点，虚线圆为单应性矩阵的约束 范围，l'1 、l'2 、l'3 是由约束确定的候选线特征，点 p1、p2 、p3 为 p 的候选同名点。该算法匹配正确率 高，匹配速度相对较快，可实现断裂线特征的多对多匹配，但匹配可靠性仍受到点特征匹配的影响，对于 难以获得初始同名点的区域，其适用性不高。
1.区域特征提取与匹配方法
区域特征具有较高的不变性与稳定性，在多数图像中可以重复检测，与其他检测器具有一定互补性，被广泛应用于图像识别、图像检索、图像拼接、3 维重建、机器人导航等领域。
- Matas 等人［64］于 2002 年提 出最大稳定极值区域( MSEＲ) 采用分水岭方法，通 过对灰度图像取不同阈值分割得到一组二值图，再 分析相邻二值图像的连通区域获得稳定区域特征。经典 MSEＲ 算法具有较高的时间复杂度。
- Nistér 等 人［65］基于改进的分水岭技术提出一种线性计算 MSEＲ 的算法，该算法基于像素的不同计算顺序，获 得与图像中存在灰度级数量相同的像素分量信息， 并通过组件树表示对应灰度级。MSEＲ 这类方法可 用于图像斑点区域检测及文本定位，也可与其他检 测器结合使用，如文献［66］将 SUＲF 和 MSEＲ 及颜 色特征相结合用于图像检索，文献［67］将 MSEＲ 与 SIFT 结合用于特征检测。
- 区域特征检测还可利用计算机技术中的树理论 进行稳定特征提取，Xu 等人［68］提出一种基于该理 论的拓扑方法 TBMＲ( tree-based Morse regions) 。该 方法以 Morse 理论为基础定义临界点: 最大值点、最小值点和鞍点，分别对应最大树叶子节点、最小树叶 子节点和分叉节点。TBMＲ 区域对应树中具有唯一 子节点和至少具有一个兄弟节点的节点。如图 10 所示，节点 A 和 C 代表最小值区域; 节点 H 和 E 代 表最大值区域; 节点 A ∪ B ∪ C ∪ D ∪ G 和 E ∪ F ∪ G ∪ H 表示鞍点区域; 节点 A ∪ B 、C ∪ D 、E ∪ F 为所求 TBMＲ 区域。该方法仅依赖拓扑信息，完全继承形状空间不变性，对视角变化具有鲁棒性，计算 速度快，与 MSEＲ 具有相同复杂度，常用于图像配准 和 3 维重建。
2. 模板匹配：
模板匹配是指给定一个模板( 通常是一块小图像区域) ，在目标图像中寻找与模板对应区域的方法，被广泛应用于目标跟踪、目标检测及图像拼接等领域。
模板和目标图像子窗口间的相似性度量是模板 匹配的主要部分，常采用逐像素比较的计算方式，如 上述方法采用的 SAD、CSAD 和 SV-NCC，此外还有 差值平方和 SSD 等，这些方法在图像背景杂乱或发 生复杂形变的情况下不再适用。
- Korman 等人［69］提出可以处理任意仿射变换的模板匹配算法 FAST-Match ( fast affine template matching) ，该方法首先将彩色图像灰度化，再构建 仿射变换集合，并遍历所有可能的仿射变换，最后计 算模板与变换后区域之间绝对差值的和 SAD，求取 最小值作为最佳匹配位置。该方法能够找到全局最 优匹配位置，但对彩色图像匹配时，需预先转换成灰 度图像，而这一过程损失了彩色空间信息，降低了图像匹配的准确率。
- Jia 等人［70］将灰度空间的 SAD 拓 展到 ＲGB 空间形成 CSAD( colour SAD) ，提出适合 彩色 图 像 的 模 板 匹 配 算 法 CFAST-Match ( colour FAST match) 。该方法通过矢量密度聚类算法计算 每个像素点所属类别，并统计同类像素个数及 ＲGB 各通道的累计值，以此求解每个分类的矢量中心，将 矢量中心作为 CSAD 的判定条件，同类像素个数的 倒数作为分值系数，以此建立新的相似性度量机制。
- 上方法对存在明显色差的区域具有较高匹配精度， 但部分参数依据经验设置，且不适合处理大尺寸图 像。为了解决这一问题，文献［71］提出一种基于分值图的模板匹配算法。该方法依据彩色图像的多通道特征，采用抽样矢量归一化互相关方法 ( SVNCC) 度量两幅图像间的区域一致性，以降低光照和噪声影响。
- Dekel 等人［72-73］基 于模板与目标图像间的最近邻( NN) 匹配属性提出 一种新的 BBS( best-buddies similarity) 度量方法，采 用不同图像特征( 如颜色、深度) 通过滑动窗口方式 统计模板点与目标点互为 NN 的匹配数量，并将匹 配数量最多的窗口视为最终匹配位置。但该算法在 发生剧烈非刚性形变或处于大面积遮挡及非均匀光 照等环境下匹配鲁棒性差。文献［74］利用曼哈顿 距离代替 BBS 算法中的欧氏距离，并对生成的置信 图进行阈值筛选和滤波，能够较好地解决光照不均 匀、模板中外点较多与旋转变形等多种复杂条件下 的匹配问题。
- 采用双向 NN 匹配导致 BBS 的计算时间较长， Talmi 等人［75］提出基于单向 NN 匹配的 DDIS ( deformable diversity similarity) 方法。首先计算目标图 像窗口点在模板中的 NN 匹配点，并统计对应同一 匹配点的数量，计算像素点的置信度。其次采用欧 氏距离计算目标点和对应 NN 匹配点间距离，最后 结合度量模板和目标图像窗口间的相似性获得匹配 结果。尽管 DDIS 降低了算法复杂度并提高了检测 精度，但当形变程度较大时依然会影响匹配效果。
- 由于 DDIS 对每个滑动窗口单独计算 NN 匹配且滑 动窗口的计算效率较低，导致模板在与较大尺寸的 目标图像进行匹配时，处理时间较长。为此，Talker 等人［76］基于单向 NN 匹配提出 DIWU( deformable image weighted unpopularity) 方法。与 DDIS 基于目 标图像窗口点不同，DIWU 计算整幅目标图像点在 模板中的最近邻匹配点，若多个像素的 NN 匹配点 相同，则像素的置信分数就低，匹配的正确性就低。DIWU 以第 1 个图像窗口的分数为基础，逐步计算 之后的每个窗口分数，该方法在保证匹配准确性的同时，提高了运算速度，使得基于 NN 的模板匹配适合实际应用。
- BBS 和 DDIS 均采用计算矩形块间的相似性度量解决几何形变和部分遮挡问题，但滑动窗口的使 用限制了遮挡程度。Korman 等人［77］基于一致集最 大化( CSM) 提出适用于存在高度遮挡情况下的模 板匹配算法 OATM ( occlusion aware template matching) 。OATM 通过约简方法，将单个向量和 N 个目 标向量间的匹配问题转化为两组 槡N 向量间的匹配 问题，并基于随机网格哈希算法进行匹配搜索。匹 配搜索的过程为寻找 CSM 的过程，即使用阈值内的 残差映射进行变换搜索。OATM 提高了算法的处理 速度，较好地解决了遮挡问题。
- 与基于欧氏距离的像素间的相似性不同，共现 统计( cooccurrence statistics) 是从数据中学习像素间 的相似性。Kat 等人［78］通过统计模板点和目标点在 目标图像窗口共同出现的概率提出 CoTM( cooccurrence based template matching) 。CoTM 在处理彩色 图时，采用 k-means 聚类算法将图像量化为 k 个类 簇，根据共现矩阵统计模板和目标图像中的类簇对 在目标图像中共同出现的次数，再基于每个类簇的 先验概率进行归一化，构造点互信息( PMI) 矩阵，值 越大表明共现概率越高，误匹配率越低。最后根据 PMI 计算模板类簇中的像素和目标图像窗口中包含 的类簇中的像素之间的相关性，选出最佳匹配位置。CoTM 也适用于颜色特征之外的其他特征，如深度 特征，可将共现统计( 捕获全局统计) 与深度特征 ( 捕获局部统计数据) 相结合，在基于标准数据集的 模板匹配中提升匹配效果。
3. 深度学习方法-块匹配：
近年来，基于深度学习的图像区域匹配成为研 究热点，卷积神经网络( CNN) 在局部图像区域匹配的应用中，根据是否存在度量层可以分为两类:
第一 类为具有度量层的方法，这类网络通常把图像块对 匹配问题视为二分类问题。
- Han 等 人［79］ 提出 的 MatchNet 通过 CNN 进行图像区域特征提取和相似 性度量，过程如图 11 所示。对于每个输入图像块， 特征网络输出一个固定维度特征，预处理层的输入 为灰度图像块，起到归一化作用。卷积层激活函数 为 ＲeLU，瓶颈( bottlebeck) 层为全连接层，能够降低 特征维度并防止网络过拟合。采用 3 个全连接层组 成的度量网络计算特征对的匹配分数，双塔结构在 监督环境下联合训练特征网络和度量网络。
- Zagoruyko 等人［80］ 提出 DeepCompare 方法，通 过 CNN 比较灰度图像块对的相似性。该方法对基 础网络框架 Siamese、pseudo-Siamese 和 2 通道( 2ch) 进行描述，并在此基础上采用深度网络、中心环绕双 流网络( central-surround two-stream，2stream) 和空间 金字塔池化( SPP) 网络提升基础框架性能。
- 为了提高卫星影像的配准率，范大昭等人［81］提 出基于空间尺度双通道深度卷积神经网络方法 ( BBS-2chDCNN) 。BBS-2chDCNN 是在双通道深度 卷积神经网络( 2chDCNN) 前端加入空间尺度卷积 层，以加强整体网络的抗尺度特性。2chDCNN 将待 匹配点对局部合成的两通道影像作为输入数据，依 次进行 4 次卷积、ＲeLU 操作、最大池化操作，3 次卷 积和 ＲeLU 操作，最后进行扁平化和两次全连接操 作输出一维标量结果。该方法适用于处理异源、多 时相、多分辨率的卫星影像，较传统匹配方法能提取 到更为丰富的同名点。
第二类方法不存在度量层，这类网络的输出即为特征描述符，在某些应用中可以直接代替传统描述符。
- Balntas 等人［82］提出的 PN-Net 采用 Triplet 网 络训练，训练过程如图 14 所示。图像块三元组 T = { p1，p2，n} ，包 括 正 样 本 对 ( p1，p2 ) 和 负 样 本 对 ( p1，n) 、( p2，n) ，采用 SoftPN 损失函数计算网络输 出描述子间相似性，以确保最小负样本对距离大于 正样本对距离。表 2 给出所采用的 CNN 体系结构 的参数，采用 32 × 32 像素的图像块作为输入，括号 内的数字表示卷积核大小，箭头后面的数字表示输 出通道数，Tanh 为激活函数。与其他特征描述符相 比，PN-Net 具有更高效的描述符提取及匹配性能， 能显著减少训练和执行时间。
- Yang 等人［83］提出用于图像块表示的一对互补 描述符学习框架 DeepCD。该方法采用 Triplet 网络 进行训练，输出主描述符( 实值描述符) 和辅描述符 ( 二值描述符) ，如图 15 所示，输入图像区域包括正 样本对 ( a，p) ，负样本对 ( a，n) 和 ( p，n) ，L 代表 主描述符，C 代表辅描述符，Δ 代表主描述符距离， Δ 珚代表辅描述符距离。数据相关调制层( DDM) 通过学习率的动态调整实现辅助描述符对主导描述符 的辅助作用。该方法能够有效地提高图像块描述符 在各种应用和变换中的性能。
- 以上这些方法都是对图像块对或三元组进行的 处理，Tian 等人［84］提出的 L2-Net 通过 CNN 在欧氏 空间将一批图像块转换成一批描述符，将批处理中 的最近邻作为正确匹配描述符。如图 16 所示，每个 卷积层左边数字代表卷积核大小，右边数字表示输 出通道数，2 表示下采样层的步长; 3 × 3 Conv 由卷 积、批归一化( BN) 和 ＲeLU( rectified linear unit) 组 成; 8 × 8 Conv 由卷积和批归一化( BN) 组成; 局部响应归一化层( LＲN) 作为单元描述符的输出层，获 得 128 维描述符。CS L2-Net 由两个独立 L2-Net 级 联成双塔结构，左侧塔输入和 L2-Net 相同，右侧塔 输入是中心裁剪后的图像块。采用渐进式采样策 略，在参与训练的批样本中，从每对匹配样本中随机 抽取一个组成若干不匹配样本，增加负样本数量。与成对样本和三元组样本相比，能够利用更多负样 本信息。
