【Defence Technology】前沿进展丨基于物理模型的红外光纤束复原技术

近日，来自南京理工大学智能计算成像实验室、中电集团第五十三研究所光电信息控制和安全技术重点实验室联合开发了一种基于物理模型的迭代超分辨率网络来重建高分辨率红外光纤束图像。在交替迭代数据保真项和先验正则项两个子问题的约束下，从原始图像数据中解耦并挖掘出更多场景的本质信息，有效“复原”红外光纤传像系统所丢失的空间分辨率。在超分辨率重建的基础上，针对实际成像需求构建了基于红外光纤束的复眼阵列系统。所提出的工作首次将基于物理模型的深度学习网络应用于红外波段的光纤束成像，有效促进了热辐射探测的工程化应用。

相关研究成果以“Model-based deep learning for fiber bundle infrared image restoration” 为题发表于Defence Technology（IF 4.035），已于2022年12月上线。

南京理工大学博士生王博文和硕士生李乐为本文的共同第一作者，左超教授为论文的通讯作者。

2022 年，我国光电行业光学十大关键词中，“计算光学成像”赫然在列。2023 年初，阿里巴巴达摩院正式发布2023 年十大科技趋势，其中“计算光学成像”作为科技发展关键词名列其中，计算成像将光作为信息载体的一部分，模糊了物理世界与数字世界的边界，实现了“物理域”和“计算域”的协同，从而突破物理约束，见所未见。

| 光纤束成像系统：柔软轻巧的材质实现空间上的灵活分布

光纤束成像系统利用无源光纤束作为传像元件，实现光能在二维空间分布上的传输，其打破了传统光学系统必须成直线或空间折线排列的固有方案，借助于光纤束重量轻、柔韧性好、灵活度高的特性，与刚性光学元件系统的互连开辟了光电探测的新领域。在简化其结构的同时拓宽了各种光学仪器的使用范围，衍生出新型的光学成像设备，已在潜望镜、生命探测和内窥镜成像等领域获得了广泛应用。此外，相比于常用的可见光波段光纤传像系统来说，红外光纤束成像系统通过引入热辐射响应，为先进光电夜视成像提供一种全新的探测手段。

同时，受限于光纤传像束其几何特性（光纤芯的不规则布局），此类系统采集的图像往往伴随着蜂窝状的固定图案及红外成像的非均匀性噪声。而光纤传像束固有的图像传输特性，即对传像系统入射端图像进行抽样传输，在其输出端形成离散的拼接图像，也必然导致图像传输质量的下降。从光纤传像束问世以来，众多研究学者就致力于改善由固有物理纤芯直径和光纤密度的限制造成的低质成像问题。目前仍需要在无源光纤传像系统中建立起一个较为理想的正向传输模型，在既不增加光纤传像束制造难度及调控复杂度的前提下来解决和改善光纤传像束的像质问题。

| 基于物理模型约束的迭代图像复原方法:突破传统成像性能疆界

受信息光学先验知识的启发，可以将高频分量的恢复归因于预先精心设计的先验图像架构中。物理模型约束的学习方法无缝地结合了数据和数学模型来解决图像恢复这一不确定的问题。事实上，在早期的研究中，物理先验被整合到正向生成过程中。物理先验的优化值是通过梯度下降应用导数的反向传播算法得出的，这类似于深度学习优化过程。将物理模型的优化迭代与深度学习的拟合函数交叉引入的过程将显着增强网络的可解释性。研究团队提出的方法引入了物理迭代过程，并将成像系统的点扩散函数进一步纳入网络模型。在以往的超分辨率重建方法中，多数都忽略了引入光学成像正向物理模型这一关键的环节，只进行端到端之间的学习映射而没有嵌入光学系统本身所蕴含的特征规则先验。

图1 双路成像系统示意图，同时获取高分辨图像及相应退化的低分辨图像。蓝色虚线表示仿真系统的点扩散函数，红色虚线表示仿真系统的调制传递函数

研究团队创新地提出了基于物理模型约束的迭代图像复原方法。如图2所示，通过半二次分裂算法展开，将图像超分辨率这一逆问题解耦为两个单独的子问题：使重构符合退化过程逆向解的数据保真模块和恢复图像细节的先验正则化模块，通过迭代交替这两个模块，同时将系统的点扩散函数进一步纳入网络模型中，建立基于物理模型的优化迭代方式并增强深度学习网络的可解释性。建立了从输入图像到待恢复信息的伪正向模型，巧妙越过非线性病态逆问题求解这一大障碍，直接通过高维特征拟合实现图像与信息的提取与重建，有效恢复红外光纤传像系统高频特征信息。并在大量数据端到端映射的加持下，学习输入与输出之间的高维复杂关联，移除传统成像系统中固有的蜂窝状及非均匀性固定噪声图案，突破传统成像技术所能够达到成像疆界。

图2 基于物理模型约束的迭代网络的总体架构示意图

| 美国空军分辨率板定量对比评估

通过对美国空军分辨率目标重建来定量评价所提出方法在重建图像分辨率方面的性能。研究团队分别进行U-Net、SRCNN以及MBIN网络的对比实验，从图4中可以清楚地看出，尽管所有方法都能去除蜂窝图案，但由U-Net和SRCNN重建的图像沿着条形边缘具有明显的像素化图案，恢复的边缘是锯齿状的而不是光滑的。相反，MBIN消除了边缘的这些伪影，具有更接近原始图像的强度均匀性。使用提出的方法可以有效地重建高分辨率图像，从分辨率板的定量评价结果中可以得到，所提出的方法将成像分辨率提高到1.7倍，成功突破了固有光纤传像系统所限制的成像分辨率，对应于0.54 μm的线对分辨率。

图3 U-Net、SRCNN和MBIN在仿真USAF分辨率靶标上的比较：(a)输入图像；(b)–(d)分别使用U-Net、SRCNN和MBIN方法重建图像；(e)原始高分辨率图像（真值）；(f)–(h) (b)–(d)中矩形区域放大图像；(i) (b)–(d)中虚线的横截面强度

| 复杂场景实验验证探测可能性

研究团队为了进一步证明所提出的基于物理模型约束的迭代网络对不同待测目标重建的鲁棒性，使用双路径成像系统进行了多场景实验验证。可以看出，若采用U-Net及SRCNN网络进行重建，图像高频细节成分部分缺少并存在伪影现象，丧失了对远场热辐射物体细节侦察的可能性，而采用基于物理模型约束的迭代网络可以很好的恢复红外图像的高频成分并且通过迭代映射学习有效克服了光纤传像系统所固有的蜂窝状网格。因此，该技术有望进一步推进红外光纤传像系统在光电探测领域中的应用推广。

图4 (a)光纤束图像重建比较；(b)训练中的验证数据集的平均Loss值和平均PSNR值；(c)双路径成像系统

在实际工程应用中，可以将单孔径光纤束的多个子眼以复眼阵列的形式排列，同时捕获多幅图像，通过拼接多个相邻且具有重叠区域的子眼图像来获得高分辨率和大视场图像。在本文的超分辨率重建方法的基础之上建立了红外光纤束2×1复眼阵列系统，由水平移动连续扫描获取2×5的子眼图像。通过拼接子图像得到目标的大视场图像，如图5所示，将水平视场角从21.48°提升到65.31°。

图5 基于红外光纤传像系统子眼图像扫描拼接结果

本文提出了基于物理模型约束的迭代图像复原方法，通过引入基于物理模型的迭代重建网络能够在大量数据端到端映射学习中确保其解符合正向退化模型的逆问题，打破了传统光纤成像系统成像分辨率受限于固有物理光纤芯直径及光纤密度并存在固有蜂窝状网格成像问题，有效恢复红外光纤传像系统高频特征信息。最后利用多个子眼成像传感器组合，可以进一步提升成像视野和空间分辨率。本文提出的红外光纤束重建方法有望为光电成像探测提供新思路；后续工作将进一步推进红外光纤传像束技术的工程化应用。