Smart Computational Imaging (SCI) Lab
智能计算成像实验室
APP | 南京理工大学智能计算成像实验室：突破反射式FPM校准瓶颈：基于SSIM的高效暗场孔径校正方法30
发表时间：2025-12-04 14:09  在生命科学、工业检测等领域，需要同时兼顾“看得广”和“看得清”的显微图像。但传统光学系统受物理限制，难以兼顾大视场与高分辨率。为突破这一物理瓶颈，空间扫描拼接[1-3]、干涉合成孔径[4-6]等技术应运而生，虽然它们在一定程度上提升了系统SBP，但通常依赖复杂的光学结构和高精度机械控制，导致系统设计复杂、成本显著提升，难以满足实际应用中对稳定性与效率的综合要求。 傅立叶叠层显微成像技术（Fourier Ptychographic Microscopy, FPM）作为计算光学领域的关键技术之一，提供了一种无需增加硬件复杂度即可实现高SBP成像的解决方案。自2013年Zheng等人[7]提出透射式FPM系统以来，FPM已在像差校正[8,9]、分辨率增强[10,11]、提高重建效率[12,13]与系统鲁棒性[14,15]等方面持续演进，并广泛应用于生物医学成像[16,17]、病理分析[18]及工业无损检测[19,20]等关键领域。 根据不同样品特性的检测需求，FPM系统可分为透射式与反射式。前者适用于透明或弱吸收样品，后者则面向金属、半导体、陶瓷等不透明或高反射材料，具备更广泛的材料兼容性。然而，与透射模式下LED阵列连续排布不同，反射式FPM面临更严苛的校准挑战：由于反射式FPM系统中的明场与暗场光源分别在2块PCB板上，因此在物理空间上缺乏结构关联性。由于每个LED的照明角度对应频域中的一个特定孔径位置，光源的位置误差会直接导致频谱错位，进而在拼接过程中引入相位错误和信息混叠，严重降低重建精度。这一频谱错位问题在反射FPM中尤为突出，成为制约其高分辨成像能力的关键瓶颈。现有算法分为两类，一类是基于透射式FPM系统开发，需要依靠校正好的明场LED位置估算暗场LED位置，因此其高度依赖LED照明光源的连续性，无法移植到反射式FPM系统中。另一类虽然可以应用于反射式FPM系统，但是校正过程需要迭代重建物体频谱，耗时较长，算法复杂。 针对上述问题，研究团队提出了基于结构相似度（Structural Similarity Index, SSIM）的高效暗场孔径失配校正法——反射FPM暗场失配校正(dmc-rFPM)，研究成果以“Efficient misalignment correction method for dark-field aperture in reflective Fourier ptychographic microscopy”为题发表于APL Photonics，并被选作Featured Article（见图1）。  图1：论文被APL Photonics选为Featured Article 如图2所示，该方法的核心创新在于以下四点：1）高精度预测模型：构建了融合像差、噪声与位置误差的暗场强度预测模型，并首次将透射FPM中的环形照明像差补偿策略引入反射式系统，消除了像差导致的强度失真；2）抗噪稳定评估：有效抑制暗场图像的固有噪声，并引入结构相似度SSIM作为评价指标，精准衡量预测图与实测图的匹配度；3）高鲁棒定位：结合RANSAC空间拟合算法，在频域内实现暗场孔径的鲁棒定位，从而反推出每个暗场LED的精确位置；4）该方法校正暗场孔径位置时，无需迭代重建暗场频谱，在保持高精度的同时，显著提升了暗场孔径的定位效率。实验证明，dmc-rFPM方法可实现频域中暗场孔径位置的稳定、高效校正，并且可以通过减少校正所需的暗场图数量，进一步提升校正速度，同时不会降低校正结果的准确性，降低算法的硬件要求，扩展了应用范围。  图2：dmc-rFPM算法原理流程图 为了验证该方法的有效性，研究团队首先测试了不同位置暗场孔径的评价函数残差分布特性，由此确定该方法是否具有全局唯一解。从图3（a）中的评价函数残差二维分布可以看出评价函数残差呈现出显著的单峰特性，即以真实位置为中心，残差值向四周单调递减。这种全局唯一解的分布特性，保证了算法可以通过简单的搜索策略快速收敛，避免了陷入局部最优。图3（b）通过图3（a）中的横向剖线图更加直观地验证了上述结论，在四个正交方向上的剖线均显示出明显的全局唯一最大值，且所有剖线的最大值点均在x=0处精确重合。虽然八个暗场孔径对应的SSIM横向剖线幅值存在差异，但其最大值点均稳定位于x=0位置。经过仿真实验验证，考虑到现代SMT工艺的高定位精度以及PCB板上LED的环形规则排布，dmc-rFPM展现出极强的灵活性：仅需校正最少4个暗场孔径（间隔90°），即可通过几何映射推算出所有孔径位置。这种稀疏校正策略结合并行处理，大幅提升了校正速度。  图3：SSIM评价函数分布特征。（a）展示了间隔为22.5°的八个孔径对应的评价函数二维残差分布。（b1）孔径1四个方向上的剖线图。（b2）八个孔径同一方向的剖线图。 随后，研究团队搭建了反射式FPM系统，使用标准分辨率样品进一步进行实验验证，确定dmc-rFPM在实际应用场景中的校正能力和简化方案的校正能力，见图4。实验中主要针对USAF分辨率板中的第6组至11组图案进行FPM重建，并重点比较了使用dmc-rFPM进行暗场孔径定位后的FPM重建结果和未使用任何校正方法进行暗场孔径定位的FPM重建结果，并给出9-3至9-5图案的剖线图量化比较，可以看出当重建模型中暗场孔径位置错误时，FPM重建质量严重下降，系统的极限分辨率显著降低。  图4：USAF分辨率板成像重构结果。（a）标准USAF第6组至第11组图案的重建结果。（b）重建后的频谱。（c1）仅使用明场信息的重建结果。（c2）在明场信息基础上，加入部分暗场信息的重建结果。（c3）使用全部明场和暗场信息的重建结果。（c4）未进行暗场孔径定位的重建结果。 最后，研究团队使用中芯国际SM27系列芯片进行真实样品的实验验证，见图5。实验结果显示，使用dmc-rFPM校正后的系统在4倍物镜的大视场下，达到了传统10倍物镜的成像分辨率。这使得系统能够同时观测上万个微结构，成像通量相比直接使用10倍物镜提升了约6倍，极大提升了对外观形态与排布位置需要同步检测的元件的检测效率。 图5：中芯国际SM27系列芯片的dmc-rFPM重建结果。 本研究基于反射式FPM系统提出了以SSIM为判断标准的暗场孔径校正算法dmc-rFPM，解决了传统暗场孔径校正算法无法适配反射式FPM系统的问题。基于SSIM构建的评价函数具有全局唯一解的特性，dmc-rFPM在校正过程中无需迭代重建物体暗场信息，因此相比于传统校正算法，耗时大幅减少。同时，结合减少孔径数量的配置策略与GPU并行加速，可进一步提高校正速度。实验结果表明，相比现有策略，dmc-rFPM的整体处理速度提升约5倍，因为最少仅需4幅暗场图数据。在GPU并行加速下，仅需0.5秒即可完成校正。该方法为反射式FPM在复杂材料成像与实时工业检测中的快速部署提供了关键技术支撑。未来，该方法有望进一步集成于自动化检测设备，实现实时在线成像与质量控制。 参考文献 [1] B. Ma, T. Zimmermann, M. Rohde, S. Winkelbach, F. He, W. Lindenmaier, and K. E. J. Dittmar, “Use of autostitch for automatic stitching of microscope images,” Micron 38, 492–499 (2007). [2] J. Chalfoun, M. Majurski, T. Blattner, K. Bhadriraju, W. Keyrouz, P. Bajcsy, and M.Brady, “Mist: Accurate and scalable microscopy image stitching tool with stage modeling and error minimization,” Sci. Rep. 7, 4988 (2017). [3] J. Li, L. Ma, Y. Fan, N. Wang, K. Duan, Q. Han, X. Zhang, G. Su, C. Li, and L. Tang, “An image stitching method for airborne wide-swath hyperspectral imaging system equipped with multiple imagers,” Remote Sens. 13, 1001 (2021). [4] T. M. Turpin, L. H. Gesell, J. Lapides, and C. H. Price, “Theory of the synthetic aperture microscope,” Proc. SPIE 2566, 230–240 (1995). [5] T. S. Ralston, D. L. Marks, P. Scott Carney, and S. A. Boppart, “Interferometric synthetic aperture microscopy,” Nat. Phys. 3, 129–134 (2007). [6] P. Gao and C. Yuan, “Resolution enhancement of digital holographic microscopy via synthetic aperture: A review,” Light: Adv. Manuf. 3, 105–120 (2022). [7] G. Zheng, R. Horstmeyer, and C. Yang, “Wide-field, high-resolution Fourier ptychographic microscopy,” Nat. Photonics 7, 739–745 (2013). [8] X. Ou, G. Zheng, and C. Yang, “Embedded pupil function recovery for Fourier ptychographic microscopy,” Opt. Express 22, 4960–4972 (2014). [9] Y. Shu, J. Sun, J. Lyu, Y. Fan, N. Zhou, R. Ye, G. Zheng, Q. Chen, and C. Zuo, “Adaptive optical quantitative phase imaging based on annular illumination Fourier ptychographic microscopy,” PhotoniX 3, 24 (2022). [10] X. Ou, R. Horstmeyer, G. Zheng, and C. Yang, “High numerical aperture Fourier ptychography: Principle, implementation and characterization,” Opt. Express 23, 3472–3491 (2015). [11] K. S. Park, Y. S. Bae, S.-S. Choi, and M. Y. Sohn, “High numerical aper ture reflective deep ultraviolet Fourier ptychographic microscopy for nanofeature imaging,” APL Photonics 7, 096105 (2022). [12] L. Tian, X. Li, K. Ramchandran, and L. Waller, “Multiplexed coded illumination for Fourier ptychography with an LED array microscope,” Biomed. Opt. Express 5, 2376–2389 (2014). [13] Y. Fan, J. Sun, Y. Shu, Z. Zhang, G. Zheng, W. Chen, J. Zhang, K. Gui, K. Wang, Q. Chen et al., “Efficient synthetic aperture for phaseless Fourier ptychographic microscopy with hybrid coherent and incoherent illumination,” Laser Photonics Rev. 17, 2200201 (2023). [14] L.-H. Yeh, J. Dong, J. Zhong, L. Tian, M. Chen, G. Tang, M. Soltanolkotabi, and L. Waller, “Experimental robustness of Fourier ptychography phase retrieval algorithms,” Opt. Express 23, 33214–33240 (2015). [15] S. Zhang, A. Wang, J. Xu, T. Feng, J. Zhou, and A. Pan, “FPM-WSI: Fourier ptychographic whole slide imaging via feature-domain backdiffraction,” Optica 11, 634–646 (2024). [16] A. Williams, J. Chung, X. Ou, G. Zheng, S. Rawal, Z. Ao, R. Datar, C. Yang, and R. Cote, “Fourier ptychographic microscopy for filtration-based circulating tumor cell enumeration and analysis,” J. Biomed. Opt. 19, 066007 (2014). [17] Z. Li, Y. Shu, L. Lu, J. Sun, Q. Shen, P. Gao, P. Zda´nkowski, M. Trusiak, M. Kujawinska, Q. Chen et al., “Fourier holo-ptychographic microscopy: A hybrid digital holography-Fourier ptychography approach to synthetic-aperture quantitative phase microscopy,” ACS Photonics 12, 2965 (2025). [18] M. Liang, C. Bernadt, S. B. J. Wong, C. Choi, R. Cote, and C. Yang, “All in-focus fine needle aspiration biopsy imaging based on Fourier ptychographic microscopy,” J. Pathol. Inf. 13, 100119 (2022). [19] H. Lee, B. H. Chon, and H. K. Ahn, “Reflective Fourier ptychographic microscopy using a parabolic mirror,” Opt. Express 27, 34382–34391 (2019). [20] H. Wang, J. Zhu, J. Sung, G. Hu, J. Greene, Y. Li, S. Park, W. Kim, M. Lee, Y. Yang et al., “Fourier ptychographic topography,” Opt. Express 31, 11007–11018 (2023).  团队介绍  南京理工大学智能计算成像实验室（SCILab: www.scilaboratory.com）隶属于南京理工大学光学工程国家一级重点学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为教育部长江学者特聘教授、国际光学工程学会会士（SPIE Fellow）、美国光学学会会士（Optica Fellow）、英国物理学会会士（IOP Fellow），入选科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在生物医药、智能制造等领域的前沿应用。研究成果已在SCI源刊上发表论文270余篇，其中46篇论文被选作Light、Optica、AP、PhotoniX等期刊封面论文，25篇论文入选ESI高被引/热点论文，论文被引近2万次。获中国光学工程学会技术发明奖一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展“特别嘉许金奖”等。培养研究生6人获全国光学工程优秀博士论文/提名奖，5人获中国光学学会王大珩光学奖，10人入围Light全国光学博士生学术竞赛全国百强，获“挑战杯”、“创青春”、“研电赛”全国金奖十余次，“互联网+”全国总冠军。师生双创事迹得到央视《焦点访谈》、人民网、新华网、光明日报、中国教育电视台等百余家媒体报道，社会辐射影响广泛。 文章信息 Efficient misalignment correction method for dark-field aperture in reflective Fourier ptychographic microscopy Rui Gao; Jiasong Sun; Yao Fan; Yefeng Shu; Maciej Trusiak; Qian Chen; Chao Zuo APL Photonics 10, 106124 (2025) https://doi.org/10.1063/5.0297832  扫描二维码 查看原文
文章分类：
现在文章
|
