APL | 南京理工大学智能计算成像实验室左超教授团队：基于加速互相关参数估计的少帧结构光照明显微成像技术

结构光照明显微术（structured illumination microscopy，SIM）因快速宽视场成像和低光损伤等优势而发展成为分子细胞领域广泛应用于活体细胞动态过程观测的荧光超分辨成像技术^[1]。然而，传统SIM算法通常需要至少9帧原始图像进行数值重建，且超分辨重建质量依赖于对照明参数的精确估计，否则会产生干扰定量的重建伪影^[2]。多帧成像的特性和复杂耗时的照明参数提取制约了SIM的原始图像采集与超分辨图像重建效率，对其在活细胞成像上的应用构成挑战。

近期，来自南京理工大学智能计算成像实验室（SCILab）的研究人员提出一种基于加速互相关参数估计的7帧SIM重建算法（7-SIM）。7-SIM通过基于调制度分配的空域滤波去除干扰成像质量的离焦背景，提出一种基于整像素质心定位和一维亚像素互相关插值的快速精准波矢搜索算法以消除传统互相关参数估计法的迭代冗余，利用与逐像素荧光预校准相结合的π/2相移策略实现重建所需原始帧数的减少。实验表明，7-SIM以更少的原始帧数实现了更高质量的超分辨重建，且重建速度较传统SIM算法提升约4.5倍。该研究于2022年10月以“Robust frame-reduced structured illumination microscopy with accelerated correlation-enabled parameter estimation”为题发表于《Applied Physics Letters》，并被选为期刊精选（Featured）论文在美国物理联合会《科学之光》栏目（AIP Scilight）以“Imaging live cells simplified with super-resolution fluorescence microscopy technique”为题进行专访报道（图1）。

图1 研究工作被选为期刊精选论文并在美国物理联合会《科学之光》栏目（AIP Scilight）以“Imaging live cells simplified with super-resolution fluorescence microscopy technique”为题进行专访报道。

SIM通常需采集不同方向和相位的至少9幅结构光照明图像，通过线性组合原始SIM观测值来分离并重组9个频谱分量以实现超分辨图像重建^[3]。理论上，3个代表宽场信息的0级频谱存在冗余，仅需7帧结构光照明图像可求解超分辨重建所需的所有频谱信息。然而，不同照明方向的荧光分布不均衡会在联合求解过程中将非均衡误差转移至高阶频谱，导致重建伪影。为了解决该问题，研究人员提出一种结合逐像素荧光预校准的7帧SIM重建算法（7-SIM），其流程如图2所示。在第一个照明方向，利用传统三步移相照明模式以获取分离良好的0级频谱。对于其他照明方向，采用一种荧光预校准方案补偿不同照明方向的荧光分布不均衡（图3）。补偿后的宽场信息被用于求解第二和第三照明方向的高阶频谱分量，并结合0和π/2的移相组合最小化非均衡补偿不足引起的残余误差放大。

图2 7-SIM的流程图。(a) 第一个照明方向的宽场和超分辨图像。(b) (a)中白框区域的原始SIM图像。(c) 第一个照明方向的初始分离频谱。(d) 在第二和第三个照明方向上通过预标定获取的宽场图像。(e) 第二和第三个照明方向的原始SIM图像。(f) 整像素频移后的第一个照明方向的1级频谱。(g) 由粗至精的加速互相关参数估计。(h) 第一个照明方向上准确分离的频谱。(i) 重组的超分辨频谱。

图3 逐像素荧光预标定流程图及校准结果。(a) 以蛔虫样本为例的逐像素荧光预标定流程图。(b)-(c) 第二和第三个照明方向的校准参数。(d) 由3步相移的原始SIM图像获得的(a)中白框区域的宽场图像。(e) 通过校准获取的(a)中白色框内区域的宽场图像。(f) 在第一个照明方向的与(a)-(e)不同区域的宽场图像。(g) (f)区域中第二个照明方向的校准参数。(h) (g)和(b)间的误差分布图。(i) (f)区域内第三个照明方向的校准参数。(j) (i)和(c)间的误差分布图。

由于实际照明参数未知，分离频谱不能被直接用于无伪影超分辨图像的重建。为此研究人员提出一种基于整像素质心定位和一维亚像素互相关插值的加速互相关参数估计算法。首先计算一级频谱在以其整像素峰值点为中心的3×3矩形框范围内进行整像素频移后与0级频谱的相关值并获取相关值质心。然后以质心为起点分别在x和y两个方向上进行一维的实空间相位梯度形式的亚像素峰值检索以获取照明波矢的亚像素部分。初相位和调制度可通过精准频移的1级频谱和0级频谱间的复线性回归获取。相比于传统迭代互相关法（iterative cross-correlation method, COR）^[2]，加速互相关参数估计法的效率提升了四倍以上。

图4 COS-7细胞中肌动蛋白的宽场图像、调制度图像及相应的直方图。(a) 宽场和调制图像。(b)-(c) 宽场和调制度图像的直方图。

由于SIM本质上是一种宽场成像技术，由样品散射引起的离焦背景也是影响SIM重建质量的主要因素之一。在频域中，离焦背景与样品低频信息混叠，这也会影响被调制到低频区域的高频信息的提取。为此，研究人员通过调制度的空间分布直接从空域去除低信噪比的离焦背景，以实现对厚样品的高质量超分辨重建（图4）。

研究者进行了一系列数值仿真以验证7-SIM的有效性。如图5(a)-5(d)所示，所提出的加速互相关参数估计法获得了与传统COR法相当的高质量超分辨重建结果。不同信噪比下的定量化数据表明，亚像素初值搜索在常规信噪比下实现了约0.1像素精度的波矢估计，进一步细化达到了小于0.05像素的精度[图5(e)-5(f)]。即使在极低信噪比下，加速互相关法的精度仅略逊于COR。就速度而言，所提出方法的处理速度快于COR约4.5倍。仿真结果表明，加速互相关参数估计法在精度、效率和鲁棒性方面具有最佳综合性能。

图5 传统COR和所提出的加速COR在不同信噪比下的参数估计的仿真实验。(a)宽视场和超分辨率图像。(b)-(d) 在不同的信噪比下，用不同的方法得到的(a)中蓝色框内区域的放大图像。(e) 在不同的信噪比下，用不同的方法估计的波矢量误差。(f) 在不同的信噪比下，通过加速COR估计的初始相位误差。

研究人员搭建了一套三色干涉式SIM仪器进一步验证所提出方法的先进性（图6）。图7给出了不同方法对BPAE细胞的重建结果。如上所述，不同照明方向的荧光不均衡会导致频谱分离不准确，进而产生严重的重建伪影。而这些伪影在通过荧光预校准后被很好地去除，获取了高质量的超分辨率结果。最后，对厚样品（COS-7细胞）的重建结果表明，去除离焦背景的预处理使得7-SIM获得了较传统9帧算法更高质量的超分辨重建结果（图8）。

该研究展示了一种鲁棒的少帧SIM重建算法。与对照明参数敏感的减帧迭代策略不同，该方法在传统SIM重建算法的基础上进行减帧探索，从而确保了在实际荧光成像中的实用性。对于参数估计，该研究首次在速度方面对迭代COR法进行优化，以4.5倍于COR的速度实现了同样准确、鲁棒的亚像素波矢估计。实验表明该方法在复杂的实验环境下以更少的原始图像和更快的处理速度实现了更高质量的超分辨重建，为更快、更长时程的实时活细胞超分辨成像提供可能。

[1] Gustafsson, M. G. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy. J. Microsc. 198, 82–87 (2000).

[2] Gustafsson, M. G. L. et al. Three-Dimensional Resolution Doubling in Wide-Field Fluorescence Microscopy by Structured Illumination. Biophys. J. 94, 4957–4970 (2008).

[3] Müller, M., Mönkemöller, V., Hennig, S., Hübner, W. & Huser, T. Open-source image reconstruction of super-resolution structured illumination microscopy data in Image J. Nat. Commun. 7, 1–6 (2016).

南京理工大学智能计算成像实验室（SCILab: www.scilaboratory.com）隶属于南京理工大学副校长、长江学者陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为国家“优青”、江苏省“杰青”获得者，入选Optica Fellow、Elsevier全球高被引科学家、中国高被引学者、斯坦福World’s Top 2% Scientists“终身影响力”和“年度影响力”榜单。实验室致力于研发新一代计算成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在光学显微、光学计量、生命科学、生物医药、智能制造、遥感监测等领域的前沿应用。研究成果已在SCI源刊上发表论文180余篇，其中26篇论文被选作Light、Optica等顶级期刊封面论文，19篇论文入选ESI高被引论文/热点论文，论文被引超过10000次。获中国光学工程学会技术发明一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展“特别嘉许金奖”等。实验室研究生5人次获全国光学工程优秀博士论文/提名，4人次获得中国光学学会王大珩光学奖，5人次入围Light全国光学博士生学术竞赛全国百强，获全国“挑战杯”、“互联网+”、“创青春”特等奖，“研电赛”、“物联网”全国第一名。

SCILab成员合影