关键词:
图像融合
深度学习
生成对抗网络
非局部注意力机制
嵌入式系统
摘要:
红外传感器通过感知物体的热辐射成像,可有效探测隐藏或伪装的热目标,具有较强的抗干扰能力,但获得的图像存在背景模糊,细节缺失等问题;可见光传感器利用光反射成像,可以捕捉丰富的场景信息,获得纹理清晰,空间分辨率高的图像,但易受环境或天气变化的影响。由于红外与可见光图像的成像机制与成像特点均具有较强的互补性,因此,融合技术旨在将红外图像的热辐射特征与可见光图像的纹理信息合成一幅目标感知更突出,场景信息更丰富的图像,以便于人眼的观察和后续视觉处理,广泛应用于遥感探测、医疗诊断、智能驾驶、安全监控等领域。目前,传统融合方法依据先验知识建立变换模型,用于提取图像特征,但其模型设计日趋复杂,且泛化能力弱。深度学习融合方法利用卷积操作,可以有效提取图像复杂多变特征,克服了传统固有数学模型的不足,具有更强的特征提取和泛化能力。但现有深度学习方法受限于网络深度与卷积核尺寸,提取的深度特征表征能力不足,无法保留图像足够的多尺度信息;其次,依赖卷积操作提取图像局部特征,未考虑局部特征之间的远程依赖关系,易造成融合图像的上下文信息损失,限制融合质量。针对上述不足,论文以红外、可见光图像为研究对象,以深度学习与注意力机制为技术手段,研究了红外与可见光图像非局部注意力融合方法,主要工作内容如下:(1)针对卷积操作仅提取图像局部特征而忽略特征之间长依赖关系的问题,提出了红外与可见光图像非局部注意力融合方法。首先,构建了多视场聚合模块与密集连接的多尺度编码器,在不进行下采样或改变卷积核尺寸的情况下,聚合了不同尺度的特征,增强了特征编码能力;其次,设计了双重非局部注意力融合策略,从空间和通道分别建立图像不同层级特征之间的远程依赖关系,获得不同尺度特征的全局特性,聚焦于图像的红外目标特性与可见光结构纹理。大量实验验证了该方法的有效性与鲁棒性,并在主、客观方面均取得了显著的优势。(2)针对融合过程中需要手动设置融合策略与参数的问题,提出了红外与可见光图像非局部生成对抗融合方法。首先,在生成器中构建卷积聚合块,捕获深层图像信息,并设计了红外与可见光双鉴别器,通过与生成器之间的对抗博弈,均衡地保留源图像特征;其次,设计了学习型非局部注意力模块,从通道维度建立不同尺度、不同通道特征之间的长距离依赖关系,增强特征编码能力,实现了红外与可见光图像端到端融合。TNO与Roadscene数据集的实验结果表明,该方法在主、客观方面均优于其他典型方法。(3)面向红外与可见光图像融合的实际应用,开发了嵌入式彩色实时融合平台,该平台以Linux Ubuntu18.04.3为操作系统,以arm-himix200-linux为交叉编译工具,以HPKMS4300智能双光摄像机为硬件架构,开发面向海思Hi3516DV300处理器的融合算法,研究了固定视场下,红外与可见光视频图像的配准、彩色实时融合方案以及画中画显示技术,实现了不同模式下的彩色实时融合,有效地提升了图像细节与分辨率质量,增强了红外与可见光成像设备的实际探测能力。