Smart Computational Imaging (SCI) Lab
智能计算成像实验室

文章简介

【IntelligentOptics】成像专题 | 加速互相关参数估计的减帧结构光照明助力显微成像 (APL)

加速互相关参数估计的减帧结构光照明助力超分辨显微成像

Robust frame-reduced structured illumination microscopy with accelerated correlation-enabled parameter estimation


本期导读


结构光照明显微术(structured illumination microscopy,SIM)具有快速宽视场成像和低光损伤等优势,已成为分子细胞领域广泛应用于活体细胞动态过程观测的荧光超分辨显微成像技术之一。然而,传统SIM技术通常需要至少9帧结构光照明图像进行数值重建,且超分辨重建质量依赖于对照明参数的精确估计,否则会产生干扰定量的重构伪影。多帧成像的特性和复杂耗时的照明参数提取严重制约了SIM的原始图像采集和超分辨图像重构效率,对其在活细胞成像上的应用构成挑战。
近期,来自南京理工大学智能计算成像实验室的研究人员提出一种基于加速互相关参数估计的7帧SIM重建算法(7-SIM)。通过基于调制度分配的空域滤波去除干扰成像质量的离焦背景,提出一种基于整像素质心定位和一维亚像素互相关插值、由粗到精的波矢搜索算法,以消除传统互相关参数估计方法的迭代冗余,利用与逐像素荧光预校准相结合的π/2相移策略实现重建所需原始帧数的减少。该方案的重构速度较传统SIM算法提升4.5倍,并实现了更高质量的超分辨重建。
   该研究于2022年10月发表于物理学领域老牌期刊《
Applied Physics Letters》,并被选为期刊精选(Featured)论文在美国物理联合会 (AIP Scilight) 栏目以“Imaging live cells simplified with super-resolution fluorescence microscopy technique”为题进行专访报道(图1)。

图片

图1. 研究工作被选为期刊精选论文并在美国物理联合会《科学之光》栏目以“Imaging live cells simplified with super-resolution fluorescence microscopy technique”为题进行专访报道。

图片

技术背景

SIM利用强度正弦调制的结构光激发荧光样品产生叠栅效应,将原本不在远场空间传播的高频信息编码至低频图像中,从而实现突破阿贝衍射极限的超分辨光学显微成像。高质量的SIM重建在很大程度上依赖于后处理算法,通常需采集不同方向和相位的至少9幅结构光照明图像进行重构才能得到最终的超分辨图像,其多帧成像的特性仍难以满足活细胞动态观测的需求。此外,超分辨图像的数值重建依赖于对照明参数的精确估计,照明参数的微小错误会对重建结果产生重大影响,导致大量重建伪影

图片

技术路线

结构光照明超分辨成像通常需采集三个方向的三步相移正弦结构光照明图案(共9帧),通过线性组合原始SIM观测值来分离并重组9个频谱分量以实现超分辨图像重建。理论上,3个代表宽场信息的0级频谱存在冗余,仅需7帧结构光照明图像就可以求解超分辨所需的所有频谱信息。然而,不完善的系统导致不同照明方向的荧光分布不均衡,这会在联合求解过程中将误差转移至高阶频谱,导致重建伪影
    为了解决该问题,研究人员提出一种
结合逐像素荧光预校准的7帧SIM重建算法(7-SIM),其流程如图2所示。在第一个照明方向,利用传统三步移相照明模式以获得分离良好的0级频谱。对于其他照明方向,采用一种荧光预校准方案来补偿上述由系统引起的光强不均衡(图3)。补偿后的宽场信息被用于求解第二和第三照明方向的高阶频谱分量,并结合0和π/2的移相组合最小化非均衡补偿不足引起的残余误差放大。

图片

图2. 7-SIM的流程图。(a) 第一个照明方向的宽场和超分辨图像。(b) (a)中白框区域的原始SIM图像。(c) 第一个照明方向的初始分离频谱。(d) 在第二和第三个照明方向上通过预标定获取的宽场图像。(e) 第二和第三个照明方向的原始SIM图像。(f) 整像素频移后的第一个照明方向的1级频谱。(g) 由粗至精的加速互相关参数估计。(h) 第一个照明方向上准确分离的频谱。(i) 重组的超分辨频谱。

图片

图3. 逐像素荧光预标定流程图及校准结果。(a) 以蛔虫样本为例的逐像素荧光预标定流程图。(b)-(c) 第二和第三个照明方向的校准参数。(d) 由3步相移的原始SIM图像获得的(a)中白框区域的宽场图像。(e) 通过校准获取的(a)中白色框内区域的宽场图像。(f) 在第一个照明方向的与(a)-(e)不同区域的宽场图像。(g) (f)区域中第二个照明方向的校准参数。(h) (g)和(b)间的误差分布图。(i) (f)区域内第三个照明方向的校准参数。(j) (i)和(c)间的误差分布图。

由于实际照明参数未知,分离频谱不能被直接用于无伪影超分辨图像的重建。为此研究人员提出一种由粗到精的加速互相关参数估计算法,以消除传统基于迭代互相关COR的迭代冗余,同时确保准确性和鲁棒性。基于直接分离的1级频谱在精准频移后与0级频谱具有最大相关性这一特点,搜索该最大相关值是获取具有亚像素精度波矢的关键。研究者首先计算一级频谱在以其整像素峰值点为中心的3×3矩形框范围内(包括9个整像素与4个0.5亚像素)频移后与0级频谱的相关值并获取相关值质心。然后以质心为起点分别在x和y两个方向上进行一维的实空间相位梯度形式的亚像素峰值检索以获取照明波矢的亚像素部分。初相位和调制度可通过精准频移的1级频谱和0级频谱间的复线性回归获取。由于该方法仅通过少量互相关操作进行快速亚像素初值搜索,在此基础上操作两次一维梯度下降,相比于在二维区域内进行逐步细化梯度下降的传统COR,参数估计效率提升四倍以上。

图片

图4. COS-7细胞中肌动蛋白的宽场图像、调制度图像及相应的直方图。(a) 宽场和调制图像。

(b)-(c) 宽场和调制度图像的直方图。


SIM本质上是一种宽场显微技术,由样品散射引起的离焦背景也是影响SIM重建质量的主要因素。在频域中,离焦背景与样品低频信息混叠,这也会影响被调制到低频区域的1级频谱的分离。为此,研究人员通过调制度的空间分布直接在空域去除低信噪比的离焦背景。简单来说,调制度小于某特定阈值的区域被认为是离焦背景或不可靠的低信噪比区域并被直接从空域上去除,一定程度上减轻了离焦背景对频谱准确分离的影响(图4)。



图片

图5. 传统COR和所提出的加速COR在不同信噪比下的参数估计的仿真实验。(a)宽视场和超分辨率图像。(b)-(d) 在不同的信噪比下,用不同的方法得到的(a)中蓝色框内区域的放大图像。(e) 在不同的信噪比下,用不同的方法估计的波矢量误差。(f) 在不同的信噪比下,通过加速COR估计的初始相位误差。


该研究通过一系列仿真对比验证了所提出算法的有效性。如图5所示,基于整像素质心定位和一维亚像素互相关插值的快速照明参数估计算法获得了与传统COR法相当的高质量超分辨重建结果。不同信噪比下的定量化数据表明,亚像素初值搜索在常规信噪比下实现了约0.1像素精度的波矢估计,进一步细化达到与传统COR法相当的小于0.05像素的精度。即使在极低信噪比下,快速照明参数估计法的精度仅略逊于COR。就速度而言,所提出方法的处理速度快于COR约4.5倍。



图片

图6. 自主搭建的基于奥林巴斯IX73显微镜的干涉式SIM仪器。DM:二向色镜,HWP:半波片,PBS:偏振分束器,SLM:空间光调制器。


此外,研究人员还搭建了三色干涉式SIM仪器(图6)进一步验证所提出方法的先进性。图7给出了通过不同方法对BPAE细胞的重建结果。如上所述,不同照明方向的荧光不均衡导致频谱分离不准确,产生了严重的重建伪影,而这些伪影在校准后被很好地去除,进而获取了高质量的超分辨率结果。最后,对厚样品(COS-7细胞)的重建结果表明,去除离焦背景的预处理使得所提出方法获得了较传统9帧算法更高质量的超分辨图像,验证了所提出方法在低信噪比下的鲁棒性(图8)。



图片

图7. BPAE细胞的对比实验。(a) 宽场图像和超分辨率图像。(b)-(c) 不同方法获取的(a)中白色和黄色框内区域的超分辨图像。(d) 沿(c)中浅蓝色线的强度曲线。


图片

图8. COS-7细胞的对比实验。(a) 宽场图像和超分辨率图像。(b)-(c) 不同方法获取的(a)中白色和黄色框内区域的超分辨图像。(d) 沿(c)中浅蓝色线的强度曲线。
简单总结,该研究展示了一种鲁棒的少帧SIM重建算法。与对照明参数敏感的减帧迭代策略不同,该方法在传统SIM重建算法的基础上进行减帧探索,从而确保了在实际荧光成像中的实用性。对于参数估计,该研究首次在速度方面对迭代COR法进行优化,以4.5倍于COR的速度实现了同样准确、鲁棒的亚像素优化。实验表明该方法在复杂的实验环境下以更少的原始图像和更快的处理速度实现了更高质量的超分辨重建,为更快、更长时程的实时活细胞超分辨成像提供可能

论文信息:

  • J. Qian#, Y. Cao#, K. Xu, Y. Bi, W. Xia, Q. Chen*, and C. Zuo*, “Robust frame-reduced structured illumination microscopy with accelerated correlation-enabled parameter estimation,” Appl. Phys. Lett. 121, 153701 (2022).

技术详见:
https://aip.scitation.org/doi/10.1063/5.0107510