【Advanced Science News】南京理工大学陈钱、左超教授团队LPR:高效合成孔径傅里叶叠层显微成像技术助力数字病理系统小型化与智能化417
发表时间:2023-02-05 22:22来源:Advanced Science News网址:https://mp.weixin.qq.com/s?__biz=MzI4MTU0NDI2Nw==&mid=2247529898&idx=2&sn=7c660d1fd3ea95b9a8cefc24e8d4d85b&chksm=eba5a68edcd22f98262bacbab14b7e4447a1d6ad0dfa55798d44318d2286d4cc49b6731e7fb8&mpshare=1&scene=1&srcid=0204ezVr9tP7nMvNkKkXr8bt&sharer_sharetime=1675482373280&sharer_shareid=22930810a78c4b6780631531bb060c9c&version=4.0.16.90619&platform=mac#rd 创新点:南京理工大学陈钱、左超教授团队提出了一种高效合成孔径傅里叶叠层显微成像技术(ESA-FPM)。其通过建立非相干和相干混合照明策略,提出了明场反卷积结合暗场的迭代重构算法,可保持低倍物镜下的大视场和大景深,以传统技术百分之一的数据量获得超物镜衍射极限的高分辨率细节信息,实现了所见报道中的最高时空带宽积。 关键词:高通量成像,迭代重构,数据冗余,高效,空间带宽积 ![]() 计算光学成像赋能高通量显微成像新技术 高通量成像在许多生物医学应用中至关重要,如细胞监测、药物筛选和病理诊断等。尤其在病理诊断领域,高通量成像提供了高分辨率和大视场的“数字病理图像”,以根据病理组织的形态学特征和相关的辅助测试来进行最终的疾病确诊,是医疗诊断的“金标准”。要实现这一应用,理想的成像技术应该能够获取染色组织切片在大视场(FOV)范围内细胞或亚细胞尺度的高分辨率细节信息。然而,传统光学显微镜的成像通量遵循拉格朗日不变量等因素,难以同时兼顾大视场与高分辨率成像,如图1所示。目前,大部分显微系统的空间带宽积在百万至千万像素量级,这种有限的空间带宽积成为制约显微成像系统应对高通量成像应用的关键瓶颈。 图1 传统光学显微镜难以同时兼顾大视场与高分辨率成像 全视场切片扫描成像(WSI)是目前病理诊断中常用的高通量成像方法。它采用高倍物镜对病理切片成像,利用高精度机械扫描采集和图像拼接技术生成“全视场数字化病理切片”,大大提升了成像空间带宽积。然而,机械扫描与图像拼接降低了成像速度,这种以牺牲时间带宽换取空间带宽的方式导致成像系统的时空带宽积降低,从而无法为快速病理诊断提供所需的时效性。 计算光学成像为突破光学显微系统物理限制,实现高通量成像提供了可能。傅里叶叠层显微(FPM)成像基于角度照明扫描和合成孔径算法,在保持低倍物镜的大视场和大景深下,获得超越物镜衍射极限的高分辨率细节信息。该技术突破了光学显微系统的空间带宽积限制,为病理诊断提供了一个有潜力的高通量成像方案。然而,尽管经过十年的发展,这一技术在系统鲁棒性、成像空间带宽积、算法收敛性等方面得到了极大地优化,但制约其在高通量成像应用广泛推广的两个关键瓶颈仍未被解决:1)需要采集大量的原始数据(通常几百幅),以牺牲时间带宽换取空间带宽,难以实现高时空带宽积成像;2)成像系统基于现有显微平台,空间带宽积受限于商业化物镜的数值孔径,难以满足病理诊断的信息通量需求。因此,如何有效突破成像系统的时空带宽积限制,实现高通量成像,是目前傅里叶叠层显微成像技术研究的一大重要方向。 非相干/相干混合照明机制实现时空带宽积跨越式提升 为进一步发展大视场、高分辨、高效率的高通量成像技术,本文提出了一种高效合成孔径傅里叶叠层成像技术(ESA-FPM),实现病理诊断高通量成像性能指标的跨越式提升。该技术建立了非相干(明场)和相干(暗场)混合照明策略(图2),提出明场反卷积结合暗场迭代重构的高效傅里叶叠层显微成像方法,突破了传统光学显微系统的时空带宽积限制。研究人员通过分析不同照明下采集图像的信息分布特性,采用非相干照明替代传统的角度扫描照明,使单幅明场图像集成物镜数值孔径两倍带宽的信息;进一步基于弱相位物体光场信息的一致性,采用中心对称暗场稀疏照明策略大幅度减少暗场图像数量。由此,将傅里叶叠层显微成像技术所需图像数据减少两个数量级。 ![]() 图2 高效合成孔径傅里叶叠层成像技术的非相干(明场)和相干(暗场)混合照明原理示意图 为探索ESA-FPM的最少数据需求,研究人员通过分析傅里叶叠层显微成像技术的数据冗余,提出了具有最大数据转换效率的高效合成孔径傅里叶叠层成像技术方案,采集7幅原始图像实现了相干衍射极限3倍的成像分辨率。仅需要传统傅里叶叠层显微成像技术1.6%的图像数据,即可获得大视场下超物镜衍射极限的高分辨率样品细节特征(图3)。 图3 高效合成孔径傅里叶叠层成像技术仅采用7幅原始采集图像实现了相干衍射极限3倍的成像分辨率,数据需求是传统方法的1.6% 自主设计高通量小型化显微成像系统突破空间带宽积限制 为了突破现有基于商业化显微平台实现的傅里叶叠层成像的空间带宽积限制,研究团队自主设计高通量显微物镜(低倍率6X,高数值孔径0.35NA)和高亮度LED阵列,构建了小型化高通量显微成像系统(图4)。该系统尺寸约为传统光学显微镜的三分之一,可提供2.19×1.46mm2的大视场范围内全宽分辨率486nm(等效数值孔径1.05)的高分辨率图像,空间带宽积达54.15Mpix。 图4 小型化高效合成孔径傅里叶叠层成像系统,实现了2.19×1.46mm2的大视场下等效数值孔径为1.05的高通量成像 上述系统的高通量成像能力在淋巴结转移鳞状细胞癌病理切片的观察实验中得到了验证,结果如图5所示。与40×,0.65NA显微物镜获得的成像结果对比,该高通量显微成像系统的实验结果实现了更的高分辨率,并且成像视场是其44.5倍。结果表明,该研究成果大大提升了时空带宽积,突破了现有光学显微成像系统的成像通量,有望为病理诊断进行统计学和生物学上的准确病变分析提供高效的技术方案。 图5 淋巴结转移鳞状细胞癌切片的高通量实验结果。与40×,0.65NA显微物镜获得的成像结果对比,所构建系统的实验结果实现了更的高分辨率并且成像视场是其44.5倍 总结与展望 病理诊断作为疾病确诊的最终环节,需要及时获取高通量的数字化病理图像作为主要的判断依据。然而,现有全视场切片扫描成像技术依赖于传统光学显微成像系统,以牺牲时间带宽换取空间带宽,难以满足病理诊断的高时空带宽积需求。基于计算光学的高通量成像技术有望为这一领域带来新的突破,实现高时空带宽积的跨越式提升,为病理诊断的及时、准确检测开辟新途径。本研究成果提出了一种高效合成孔径傅里叶叠层显微成像方法(ESA-FPM),仅需采集7幅原始图像即可实现相干衍射极限3倍的成像分辨率,突破了传统光学显微成像技术的时空带宽积限制。与40×、0.65NA显微物镜的成像结果对比,本研究成果成像视场是其44.5倍,并且提供了更高分辨率的细节特征。诚然,现有的探索性成果可能距离实际的病理诊断应用仍具有一定的差距。但我们可以欣喜地看到,计算高通量成像显微技术在病理诊断领域展示了强大的应用潜能。随着计算光学理论机理的完善、光学成像器件的发展、计算机硬件水平与性能的不断提高,计算高通量显微成像技术将有望革新病理诊断现有图像获取方式,为病理诊断提供及时准确的高通量成像技术方案。 值得一提的是,本研究团队自2016年起进行傅里叶叠层显微成像技术的相关研究,针对其算法机理完善、系统误差校正、算法鲁棒性提升、高通量系统研发等做出了一系列原创性工作。本论文研究成果孵化了江丰生物信息技术(南京)有限公司,研究团队与其合作进行计算光学高通量病理扫描仪、超分辨血细胞扫描仪、大体取材三维成像仪、大景深扫描仪的研发,共同推进高端数字病理显微仪器国产化。 WILEY 论文信息: Efficient Synthetic Aperture for Phaseless Fourier Ptychographic Microscopy with Hybrid Coherent and Incoherent IlluminationYao Fan, Jiasong Sun, Yefeng Shu, Zuxin Zhang, Guoan Zheng, Wenjian Chen, Jin Zhang, Kun Gui, Kehui Wang, Qian Chen,* and Chao Zuo*. Laser & Photonics Reviews DOI:10.1002/lpor.202200201 来源 | Advanced Science News 排版 | 孙菲 复审 | 左超 终审 | 徐峰 |