1.3 图像融合分类

图像融合根据不同的关注点有多种分类方式，下面对常见的分类方式进行介绍。

1.3.1 按融合层次分类

图像融合是将多幅图像的信息进行整合的过程，一般可以分为4个层次，每个层次处于不同的阶段，如图1.2所示。其中底层的信号级融合指的是在传感器输出原始信号的阶段进行融合。由于这一操作是在信号域进行的，并不涉及图像，所以一般研究者在进行图像融合分类时并不考虑该层次，即在大多数文献中仅将图像融合分为像素级融合、特征级融合和决策级融合三个层次。这三种融合层次均在图像域进行，区别仅在于针对的研究目标和初级阶段不同。图1.3展示了这三种融合层次在一般图像处理过程中所处的阶段，即图像融合层次对比。由于它们处于互不干扰、互相独立的不同阶段，所以也可以联合起来对图像进行融合。下面将详细介绍这三种图像融合层次。

1.3.1.1　像素级融合

像素级融合是图像域上最低级别的融合，也是目前图像融合领域的研究重点。像素级融合可以尽可能地保留场景的原始信息，丰富图像细节，通过对多源图像进行像素级融合，可以增强图像单个像素的信息，提供另外两个融合级别无法提供的细节信息。与原始的源图像相比，像素级融合后的融合图像包含更丰富、更全面、更准确的信息，从而可以指导后续特征级别和决策级别的图像融合，也有利于对图像进一步分析处理。在执行像素级融合之前，可以根据需求对多源图像进行必要的预处理，同时一定要进行图像配准且配准精度一般应达到像素级别，否则融合结果将会出现巨大的误差。

当前大多数图像融合都采用像素级融合方法，以保证融合图像含有原始图像信息。因此，像素级融合一直以来都是图像融合领域的研究热点和重点，研究者们提出了很多用于像素级图像融合的方法。总的来说，像素级融合方法可以分成两大类：空间域方法和变换域方法。

1.3.1.2　特征级融合

特征级融合是像素级融合的下一个层次，通过从源图像或原始信号中提取出多个特征来进行综合分析和融合。这种方法对图像噪声不敏感，并且对图像的配准要求也没有严格到像素级别。该融合层次既能够保留足够的原始图像信息，还能有效压缩图像信息，提高实时处理能力。特征级图像融合一般用于图像分割或者变化检测的预处理。然而，与像素级融合相比，特征级融合过程会丢失更多的图像信息。

在特征级对图像进行融合需要从输入图像中提取特征，特征可以是像素强度、边缘或者纹理等，具体选取时应该视图像的性质和融合图像的应用而定。融合的典型特征信息包括边缘、形状、大小、长度以及相似亮度或景深区域。在特征提取之后，通过特定的选择过程将这些特征与存在于其他输入图像中的相似特征相结合，以形成最终的融合结果。主要的特征级融合策略包括聚类分析法、神经网络法、贝叶斯估计法等。

1.3.1.3　决策级融合

决策级融合是最高级别的图像融合层次，将不同类型的当前信息和先验知识相结合，从而做出最优融合决策。相对于其他两个融合层次来说，决策级融合准确且拥有最佳的实时性能，在一定程度上可以解决单一传感器成像的缺点（一个传感器的故障不会对整体的融合结果产生较大的影响），但是决策级融合的主要缺点是信息丢失严重。决策级融合包含四个步骤：多传感器成像处理、决策生成、融合中心收敛及最终的融合结论的确定。决策级融合一般使用各种逻辑推理方法、统计方法及信息理论方法，如投票表决法、聚类分析法、贝叶斯法、D-S证据理论法、模板法、模糊集合理论法、关系事件代数方法等。

1.3.2 按融合图像源分类

随着传感器技术的发展，各种类型的图像传感器相继出现。由于这些图像传感器具有不同的成像机制和不同的工作波长范围，所以会采集到不同的图像信息。源图像的差异使得图像融合衍生出多个研究方向。总的来说，图像融合可根据图像源分为五类。

（1）多聚焦图像融合

常见的成像设备在进行日常拍摄时受到光学系统的限制，无法同时聚焦不同景深的物体，导致非聚焦的物体成像模糊，丢失了大部分细节信息。为了获取场景内所有物体都清晰的图像，更好地服务于人类视觉感知系统和计算机对图像的后续处理加工，多聚焦图像融合将来自同一场景不同焦距的两幅或多幅图像进行融合，过滤掉其中不清晰的部分，使得融合后的图像物体尽可能清晰。

（2）医学图像融合

常见的医学成像有磁共振成像（MRI）、计算机断层扫描（CT）和正电子发射断层扫描（PET）等，不同模态的医学成像方式都有其自身的特点和实际局限性，如MRI图像具有较好的软组织清晰度，但是缺乏身体代谢等信息；CT图像具有扫描时间短、成像分辨率高的特点，但是软组织表征不佳；PET图像具有高灵敏度的特性，但分辨率较低。医学图像融合是将来自同一组织的不同模态的医学成像进行融合，在保留特定特征的同时提高成像质量，以增强图像在临床诊断和评估中的适用性，如图1.4所示。

（3）可见光与红外图像融合

红外图像可以捕获热辐射，根据辐射差异将目标与背景区分开来，因此可以不分昼夜地全天候工作，且不易受到外界恶劣条件如大雾、暴雨等影响，但是通常红外图像的分辨率较低，图像质量较差；相比之下，可见光图像虽然抗干扰能力较差，但是成像更加清晰，含有丰富的细节纹理信息和色彩信息，符合人类的视觉感知。将可见光图像与红外图像进行融合，能够将可见光图像中丰富的细节和色彩信息与红外图像中的目标信息相结合，提高系统的目标识别能力，如图1.5所示。

（4）多曝光图像融合

由于技术限制，成像设备捕获的图像的动态范围远比真实场景的动态范围小得多，具有固定曝光时间的单次曝光不可避免地会导致动态范围的损失。多曝光图像融合可以融合多幅曝光时间不同的低动态范围图像，生成包含场景绝大部分信息的高动态范围图像，如图1.6所示。

（5）遥感图像融合

由于不同设备传感器所采集的遥感图像在时间、几何和空间分辨率等方面存在着不同程度的差异，因此单一设备所提供的遥感图像具有明显的局限性，通常难以满足实际应用需求。遥感图像融合将来自同一卫星不同传感器获取的同一场景的图像进行融合，得到更为精确、全面和可靠的遥感图像，如图1.7所示。