【AIPP学术】APP | 南京理工大学左超教授团队:基于波长扫描彩色传感器无透镜片像素超分辨定量相位显微术198
随着计算成像技术的发展,无透镜片上定量相位显微镜以其高通量、低成本的特征,为生物医学、药物研发提供一种新的无标记、非侵入的活细胞观测手段。基于同轴全息术的原理,无透镜显微镜系统极其简单,仅包含相干光源、样品和传感器。入射光束照射样品,透射光束和散射光束发生干涉,产生的干涉图案被传感器记录下来。由于系统放大倍数接近于1,无透镜显微镜的分辨率主要受到传感器像素尺寸的限制。在前期的研究中,左超教授团队研究无透镜成像系统的成像分辨率问题,首次从传递函数模型出发,系统地分析影响无透镜成像分辨率的五个因素,并推导出定量的分辨率极限公式,为无透镜成像系统的优化奠定了理论基础。提出了一种基于自适应松弛系数的迭代高分辨相位重构算法,结合多离焦距离扫描、平行板扫描、波长扫描等实验手段,将成像的横向分辨率提升到传感器像素尺寸对应的Nyquist-Shannon采样分辨率的2倍以上。 消费电子行业发展日新月异,技术不断革新,无透镜片上显微技术可以搭上传感器升级换代的顺风车,可以获得更高的成像分辨率。然而在消费电子领域,彩色传感器的需求远大于黑白传感器,导致市场上的最小像元传感器通常是彩色的,而无透镜系统通常使用黑白传感器,其分辨率受到限制。因此,如何利用现有的、经济高效的彩色传感器实现高分辨率相位重建是无透镜技术面临的关键挑战。 彩色传感器在无透镜系统中的应用主要被归纳为三个类别:首先,利用彩色传感器进行彩色病理切片成像或彩色荧光成像的研究。其次,通过物理手段移除滤色阵列层,以实现小像素级别的黑白传感器。最后,采用数值方法,即通过测量不同滤色片的光强度响应曲线,校正像素值的方法去马赛克。其中,数值方法省时省力且避免了传感器损坏的风险,为解决马赛克问题提供了一种可能的途径。但由于不同通道间的串扰效应以及传感器对不同照明强度的非线性响应,拜耳掩膜解耦过程仍然充满挑战。因此,未来的研究需要进一步探索更为高效和精确的算法,以优化无透镜系统中彩色传感器的成像效果。 针对这一挑战,在无需物理去除彩色滤波层或数值方法去马赛克的前提下,南京理工大学左超教授团队联合弗吉尼亚理工大学Ting-Chung Poon教授团队与西安电子科技大学郜鹏教授团队使用多波长照明方案结合改进的迭代相位恢复算法,实现像素超分辨率的定量相位成像,其实验装置如图1所示。由于拜耳编码(1红,2绿,1蓝)中绿色像素所占比例最高,为了绕开拜耳滤波层引入编码问题,我们仅抽取绿色通道数据用于实验结果计算。根据传感器各通道的量子效率曲线,选择绿色通道响应最强的波长范围即490 - 580 nm,作为实验中照明波长调谐范围。实验中仅需采集每个照明波长下的全息图,仅使用绿色通道数据重建,具体地,对马赛克的全息图,通过用最邻近的4个绿色像素的值来插值填充非绿色通道像素位置,然后经过上采样、反向传播至聚焦面,获得样品复振幅的初始猜测。迭代重构时,样品复振幅传播至传感器面,施加强度约束,这里我们仅更新绿色通道数据,而另一半像素值保持不变。然后再反向传回聚焦面,而后转入下一波长,直至遍历所有波长,完成一次相位迭代,直至结果完全收敛。相位恢复算法的主要思想是在空间域和频域中进行约束替换。相位恢复问题求解的关键在于数据间的关联性和足够的数据冗余度。在不同波长下,由于传播过程,物体上同一个点的衍射信息会被不同位置的像素记录。所以可以使用不同波长下的衍射强度的变化补偿未被采样的像素数据。因此,利用在不同波长处捕获的原始图像之间的足够差异即可恢复其他通道中的丢失数据。图3展示了对体外培养的HeLa细胞的长时程观测结果,超大的成像视场能更加全面的展示培养过程中细胞状态,展现了在生物实验中应用的潜力。基于彩色传感器的无透镜片上显微成像平台可以在51.88 mm2的视场实现高品质的定量相位成像,横向半宽分辨率可达615 nm,对应的空间带宽积137.2 MP,超过传统的光学显微镜10倍以上,从而证明了经济高效的彩色传感器在无透镜全息显微镜领域的适用性。 图1 (a) 光路结构示意图。(b) 波长可调光源示意图。(c) 拜耳模式彩色传感器以及各种像素在不同波长下的和响应效率曲线。 图2 仅使用绿色像素的波长扫描像素超分辨算法流程图 图3 (a) 全视场相位重建结果。(b) ROI 1的六个选定的延时相位图像。(c) ROI 2的重建相位。(d1)-(d3) (c)中的细胞C的数字相衬图像、DIC图像和3D渲染。(e1)-(e2) TNT的形成和消失过程。(f) 三个细胞的干质量随时间的变化。(g) ROI 2中细胞的动态跟踪。 团队介绍 南京理工大学智能计算成像实验室(SCILab: www.scilaboratory.com)隶属于南理工国家一级重点学科“光学工程”学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为国际光学工程学会/美国光学学会/英国物理学会会士(SPIE/Optica/IOP Fellow),科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术,在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作,并开拓其在生物医药、智能制造、国防安全等领域的前沿应用。研究成果已在Light、Optica、APL Photonics等SCI源刊上发表论文200余篇,其中38篇论文被选作期刊封面论文,20篇论文入选ESI高被引/热点论文,论文被引超过15000次。获中国光学工程学会技术发明奖一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展 “特别嘉许金奖”等。培养研究生5人获全国光学工程优秀博士论文/提名奖,5人获中国光学学会王大珩光学奖,8人入围Light全国光学博士生学术竞赛全国百强,获“挑战杯”、“创青春”、“研电赛”全国金奖十余次,“互联网+”全国总冠军。 文章信息 Wavelength-scanning pixel-super-resolved lens-free on-chip quantitative phase microscopy with a color image sensor Wu, Xuejuan, Jiasong Sun, Yang Chen, Jiahao Wei, Qian Chen, Ting-Chung Poon, Peng Gao, and Chao Zuo. APL Photonics 9, 016111 (2024) https://doi.org/10.1063/5.0175672 扫描二维码 查看原文 复审 | 左超 终审 | 徐峰 |