PhotoniX | 智能计算光学显微镜

导读

      “计算光学显微成像”是近十年来出现的一个新术语。它可以被视为“计算成像”的一个分支，也可以理解为“计算成像”技术在光学显微镜领域的延伸和应用。与传统光学显微成像技术“先成像，后处理”的成像方式截然不同，计算光学显微成像采用 “先调制，再拍摄，最后解调”的成像方式，伴随而来的是传统光学显微成像技术难以获得的革命性优势，例如：提高成像质量，简化成像系统，突破光学系统与图像采集设备的物理限制等，使显微成像系统在信息获取能力、功能、性能指标等方面获得显著提升。近年来，发光二极管（LED）与图像传感器等光电器件、现代数字计算机和智能手机的革命为计算光学显微镜的快速发展提供了新的机遇与空间。新颖的计算光学显微成像技术层出不穷，如数字全息显微（digital holography，DH）、光强传输方程（transport of intensity equation，TIE）、差分相衬显微（differential phase contrast，DPC）、无透镜片上全息（lens-free on-chip holography, LFH）和傅里叶叠层显微(fourier ptychographic microscopy, FPM)等。这些技术不仅能提供无标记、多模态、高分辨、宽视场的定量相位成像能力，还面向生物医学和工业测量发展出一系列新颖应用。然而不得不承认的是，现阶段大多数计算显微技术仍处于“概念验证”或“原型验证”的早期阶段。而对于任何一项新技术而言，将这些新型的概念和技术转化为具有实用价值的工程化系统，即独立的光学设备与仪器，是其在生物医学、工业和教育领域得以广泛推广与实际应用的必经之路。

      南京理工大学的智能计算成像实验室（SCILab: www.scilaboratory.com）致力于研发新一代计算成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在光学显微、光学计量、生命科学、生物医药、智能制造、遥感监测以及军事国防领域的前沿应用。通过多年不懈努力，实验室研制出了四台基于计算成像原理的“智能计算光学显微镜，smart computational light microscopes（SCLMs）”。它们由一系列先进前沿的计算光学显微成像技术所赋能，不仅可以对未染色的样品进行多模态观察，还可以定量地获取其三维形貌数据，实现实时、动态、高精度、多维度的定量检测与数据分析。该研究成果以Smart computational light microscopes (SCLMs) of smart computational imaging laboratory (SCILab)为题发表在PhotoniX^[1]。该文章从基本原理与工程实现的角度对这四台智能计算光学显微镜进行了全方位的介绍与剖析，并展示了它们在生物医学成像与工业测量方面的典型应用。南京理工大学为本文的第一通讯单位，范瑶、李加基、卢林芃、孙佳嵩为论文的共同第一作者，南京理工大学陈钱、左超教授为论文的共同通讯作者。

研究背景

      自400多年前问世以来，光学显微技术经历了不断的革新。它们以越来越高的分辨率与成像质量，引导人类向无尽的微观世界发起无穷的探索。它已从安东尼·范·列文虎克（Antoni van Leeuwenhoek）时代简单的单透镜装置演变成了一种极为重要且精密的观察与计量科学仪器，广泛地应用于生物、化学、物理、冶金、酿造、医学等各种科研活动，对人类的发展作出了巨大而卓越的贡献。特别是在生命科学领域，光学显微技术引领着人类打开微生物世界的大门，为生命科学研究与现代临床疾病诊断提供有力的影像学依据，成为推动生命科学和基础医学进步不可或缺的重要工具^[2]。

      自诞生以来，光学显微镜的发展一直面临着两方面的巨大挑战——“分辨率”与“对比度”。前者受限于恩斯特·阿贝（Ernst Abbe）^[3]1873年发表的著名的阿贝分辨率极限公式（即显微镜的分辨率只有光波长的一半），后者则受限于大多数生物样品的弱吸收和弱散射性。荧光显微镜^[4]、激光共聚焦显微镜^[5]、全内反射荧光显微镜^[6]、双/多光子荧光显微镜^[7,8]、光片显微镜^[9,10]等的问世极大地促进了生命科学研究水平的进步，成为生命科学研究与现代医学诊断中不可缺少的重要工具。2014年，诺贝尔化学奖授予了超分辨率荧光显微技术，受激发射损耗显微镜（stimulated emission depletion microscopy，STED）^[11]、光敏定位显微镜（photo-activated localization microscopy，PALM）^[12]、随机光学重建显微镜（stochastic optical reconstruction microscopy，STORM）^[13]等超分辨成像技术利用荧光分子的光开关效应，绕开了一百多年来似乎一直被认为是无法突破的阿贝衍射极限，由此光学“显微”技术也逐渐步入了“显纳”时代。

      与之不同的另一种成像机制则利用入射光的相位（而非强度）变化，所形成的一系列相差显微技术具有独一无二的优势——无标记（非染色）^[14,15]。Zernike相差显微镜^[16,17]和Nomarski微分干涉相差显微镜^[18,19]是其中的代表先驱。它们通过利用光的衍射和干涉特性将相位差转换成振幅差，从而极大地提高了透明相位物体在光学显微镜下的可分辨性。相差技术的发明具有划时代的意义，其开辟了无标记显微成像新纪元，Zernike因此获得了1953年的诺贝尔物理学奖。时至今日，以Zernike相差与微分干涉相差为代表的无标记成像技术几乎已成为了所有的生物显微镜的“标配”，作为荧光显微成像技术亲密无间的合作伙伴，提供细胞整体的轮廓与形貌信息。然而就像八十年前发明初期那样，它们仍局限于二维定性观测，无法实现三维定量测量，发展与荧光显微技术形成鲜明对比，显著滞后。因此发展新型无标记、定量显微成像技术已经成为当下显微技术发展的一大迫切需求。

      “计算光学显微成像”是近十年来出现的一个新术语。它可以被视为“计算成像”的一个分支，也可以理解为“计算成像”（Computational imaging）技术在光学显微镜领域的延伸和应用。与传统光学显微成像技术“先成像，后处理”的成像方式截然不同（图2），计算光学显微成像采用的是“先调制，再拍摄，最后解调”的成像方式。其将光学系统（照明、光学器件、光探测器）与数字图像处理算法作为一个整体考虑，并在设计时一同进行综合优化。前端成像元件与后端数据处理二者相辅相成，构成一种“混合光学—数字计算成像系统”，如图2所示。这种新型的成像方式将有望改变成像系统获取信息方式，提升其获取信息能力，增强资源利用，赋予其诸多传统光学显微成像技术难以获得甚至无法获得的革命性的优势：例如，提高成像质量（信噪比，对比度，动态范围），简化成像系统（无透镜、缩小体积、降低成本），突破光学系统与图像采集设备的物理限制（衍射极限、采样极限、成像维度、分辨力、视场尺寸），使显微成像系统在信息获取能力、功能、性能指标（相位、相干度、三维形貌\景深延拓、模糊复原、重聚焦、改变视角）等方面的获得显著提升，最终实现显微成像设备的高性能、小型化、智能化。

      虽然“计算光学显微成像”这个词出现的历史并不长，但其思想早在几十年前就已渗透在光学显微成像中。计算光学显微成像其实是伴随定量相位成像技术，如光干涉测量、衍射计算、数字全息、相位恢复等技术的发展而诞生的（这可能有所争议，因为严格来说很多荧光显微技术也落入计算光学显微成像的范畴，如超分辨荧光显微技术。所以这里如果加上“无标记”的限定词可能更为严谨）。这似乎并不难理解，因为计算成像的本质是实现光场的数学表征与信息化调控，而相位则是描述光场（严格来说是单色相干光场）最重要的、且无法直接测量的物理参量之一。到目前为止，计算光学显微已经发展成为一个基础光学、应用光学、信息光学、计算机视觉和生物光子学的交叉学科领域。伴随着量子关联成像、穿透散射介质成像等新机制的出现，衍射光学元件、光子集成器件、超材料、超表面、超透镜等新型光调制器件的引入，人工智能、量子计算、全光神经网络等新型计算机制的结合，计算光学显微即将步入一个爆发性的发展阶段。

      然而不得不承认的是，在计算光学显微成像这一领域，与这些高度前瞻性“华丽”的机理与概念相映照却是现阶段尚“不成熟”的技术与应用。根据我们所看到的，计算光学显微成像技术并没有（至少现在还没有）撼动传统显微技术在生命科学界的地位，带来预计的革命性成果与技术变革。造成这种矛盾的主要原因是多方面的，其中之一是现阶段大多数计算显微技术仍处于“概念验证”或“原型验证”的早期阶段（基于传统商用显微镜平台所实现）。而对于任何一个新技术而言，将这些新型的概念和技术转化为具有实用价值的工程化系统，即独立的光学设备与仪器，是使其在生物医学、工业和教育领域得以广泛推广与实际应用的必经之路。

技术突破

      请知悉，您现在所阅读的这篇文章可能会有些“与众不同”。这篇文章的作者，也就是“我们”，来自于南京理工大学的智能计算成像实验室（SCILab）。正如其名，我们SCILab针对计算光学成像，特别是计算光学显微成像这一领域开展了近十年的深入系统研究，建立了广义光强传输方程与相关理论体系，给出了部分相干光场“相位”的严格定义，形成了“非干涉定量相位显微成像”理论与方法，为定量相位成像由“干涉”走向“非干涉”奠定了理论基础^[20–25]。更重要的是，我们实验室还一直致力于相关技术的工程化与仪器化。通过我们的不懈努力，实验室历经多年研制出了四台基于计算成像原理的显微镜，我们将它们统称为“智能计算光学显微镜，smart computational light microscopes（SCLMs）”（见图3）。

      SCLM由一系列先进前沿的计算光学显微成像技术所赋能，包括数字全息显微（DHM）、光强传输方程（TIE）、差分相衬成像（DPC）、无透镜片上全息成像（LFH）以及傅里叶叠层显微成像（FPM）等。这些显微镜不仅可以对未染色的样品进行多模态观察，还可以定量地获取其三维形貌数据，实现实时、动态、高精度、多维度的定量检测与数据分析。本文的目的就是对这四台显微镜进行全方位的介绍与剖析。我们将介绍它们的基本原理、硬件配置、重建算法和软件设计。我们还测试了它们的成像功能与性能指标，并展示了它们在生物医学成像与工业测量方面的典型应用。图4总结了这四台显微镜的设计概念、成像功能、性能指标和预期的生物医学应用。下面对这四款显微镜进行分别介绍：

      DH-SCLM基于经典的数字全息显微成像，采用全息干涉技术实现了对无标记细胞的高对比观察和高精度测量。系统采用我们所研发的主成分分析的像差校正^[26,27] 、亚像素定位、自动数字重聚焦等方法，从后处理角度上最大程度上补偿了干涉成像所固有的散斑噪声、系统像差和环境敏感性等缺陷。通过自主开发的配套软件系统，可对体外培养的活细胞进行长时程的定量三维数据采集和分析，实现对其分裂、凋亡、病变等生命行为的监控。DH-SCLM的无标记相位成像、高精度相位测量等优势将有望为细胞生物学、微光学检测等领域提供了一种强大的观测与计量工具。

      MQP-SCLM结合了计算光学显微成像中照明调制和光学编码的新概念，使显微镜具备多模态、多尺度、高分辨、高通量的成像特性。系统采用可编程LED作为照明光源来实现照明孔径、照明波长与照明角度的灵活调控^[28]，配合电控变焦透镜的快速、远心、无机械位移的焦平面调节能力^[29]，赋予MQP-SCLM在同一系统配置中实现七个不同的成像模式的能力，包括明场、暗场、多角度光场、莱茵伯格光学染色、差分相衬相位梯度、光强传输方程定量相位成像^[21,22]和傅里叶叠层成像^[30–34]。采用最优环形照明孔径来实现光强传输方程定量相位成像方法，使横向分辨率从相干衍射极限拓展到了非相干衍射极限^[21,22]。同时，我们为系统开发了配套操作软件，它集硬件控制、模态切换、多维显示、精确分析为一体，可以满足多样化的生物医学成像和工业检测需求。

      MMC-SCLM是MQP-SCLM的结构剪裁化版本，采用定制的小型化镜头取代了传统显微镜的成像光路，使整个系统缩小到14×16.5×20cm³。我们采用优化的半环形照明来实现差分相衬定量相位成像^[35–37]，赋予其可达非相干衍射极限的高分辨率定量成像能力。此外，采用可编程LED实现照明孔径的灵活调节，在同一系统集成明场、暗场、多角度光场、莱茵伯格光学染色、差分相衬相位梯度、差分相衬定量相位成像六种成像功能^[28]。所有成像功能通过智能化操作软件一键切换，无需任何的硬件改造。MMC-SCLM具有小型化、智能化、多模态、定量化的特性，可方便携带并可内置于细胞培养装置，将为细胞工厂、药物筛选等应用提供强大的技术支持。

      HTL-SCLM是具有最简单的系统结构的显微镜。它去除了传统显微系统中的物镜，结合多波长LED阵列照明，利用紧贴待测样品的成像探测器直接记录近场衍射图像。基于菲涅尔域中光强传输与波长的可置换性，采用多波长照明实现非机械离焦^[38]，利用非干涉相位恢复技术重构高通量的样本信息^[39–41]。HTL-SCLM可在约30mm²的宽视场下，实现横向分辨率为870nm的超像素分辨成像，可同时提供数以万计个未染色海拉细胞的高通量定量相位信息。该小型化、高通量的无透镜显微镜可以为远程医疗或床边诊断（POCT）提供一种具有前景的高性能、低成本解决方案。

      当然，只通过书面文字和图片，读者们可能还是无法直观感受到这些计算光学显微镜的魅力。因此，我们在本文的结尾还准备了一段视频来更形象地介绍这四台显微镜的结构组成与基本原理，并对它们的功能进行直观地展示。通过这个视频的展示，我相信大家一定会这些显微镜的功能与性能印象深刻。这段视频的主角正是“我们”，一群SCILab的博士研究生。而这四台显微镜就是我们博士期间科研成果“工程化”后的成果。

观点评述

      本文是南京理工大学智能计算成像实验室（SCILab）对计算显微成像技术从“概念”到“仪器”的一次大胆尝试。“计算成像”与“光学显微”的“联姻”为显微镜功能与性能带来了前所未有的提升，如一键切换的多模态成像、非干涉定量相位成像、Gbit像素高通量成像等，这些都是前所未见的。这些新一代智能计算光学显微镜有望为生命科学提供高分辨率、高灵敏、便利的无标记成像手段，为临床医学诊断、药物开发、细胞动力学及病理研究等提供强有力的影像学方法；其无需染色、低成本、易操作性能够大大降低医疗检测的门槛，为资源条件有限的地区提供快捷、廉价的即时诊断（point-of-care test，POCT）工具，为贫困地区一些急、重症病人的早期诊断和及时治疗提供了有利的条件。

      计算光学显微成像是否能颠覆“可见即所得”的传统显微成像模式，为今后光学显微镜的发展打开一扇崭新的大门？我们即使不能说其是显微技术发展的必然，但至少从我们的大胆尝试来看，其结果是十分让人惊喜的。我们对其未来也是信心满满的。尽管现阶段这些显微镜中的某些还不能称得上真正意义上的商业化产品，但我们相信通过对这些仪器的基本原理与技术细节的介绍，定会给“计算光学显微成像”这一领域带来一些“不一样”的知识与信息，并对该领域未来的发展，特别是工程技术及其仪器化应用方面，提供一些有益的启示。

主要作者

      范瑶，女，南京理工大学电子工程与光电技术学院光学工程专业博士研究生，研究方向为计算显微成像。研究成果在Photonics Research，APL Photonics、Optics Express等期刊上发表学术论文20篇。多次参加OSA以及SPIE旗下的重要国际学术会议，并获得icOPEN 2019最佳口头报告奖和光学前沿在线2020最佳电子海报奖。曾获得2021年中国光学学会“王大珩光学奖”学生奖，2021年全国光学与光学工程博士生学术联赛年度优秀奖，中国仪器仪表学会科学技术奖“二等奖”，第十四届“挑战杯”全国大学生课外学术科技作品竞赛“特等奖”，2016年“创青春”全国大学生创业大赛“金奖”等。

      左超，教授、博士生导师。南京理工大学智能计算成像实验室（SCILab: www.scilaboratory.com）学术带头人。研究方向为计算光学成像与光信息处理技术，在非干涉定量相位显微成像、高速结构光三维传感等领域取得系列研究成果。已在SCI源刊上发表论文140余篇，包括JCR一区论文80余篇。12篇论文被选作AP, OL, OE等期刊的封面文章，13篇论文入选ESI高被引/热点论文，论文Google Scholar引用超过7000次。获国家发明专利53项，PCT/美国专利15项。入选国家“优青”、江苏省“杰青”、Elsevier中国高被引学者。成果获江苏省科学技术奖基础类一等奖、中国光学工程学会技术发明一等奖等奖项。指导研究生获全国挑战杯/互联网+/创青春全国特等奖/金奖，研电赛/物联网大赛全国第一名。现任PhotoniX、Microwave and Optical Technology Letters、《光学学报》、《激光与光电子学进展》等期刊编辑，《红外与激光工程》、中国激光杂志社青年编委等。

      陈钱，南京理工大学副校长，南京理工大学光学工程学科带头人，“光谱成像与信息处理”教师团队带头人。长期在光电成像与探测理论、技术与工程应用研究，取得了系列原创性成果。主持国家重大专项、重点型号、国家重点研发计划、国防基础研究和国家自然科学基金等科研任务30余项。获国家技术发明奖二等奖1项、国家科技进步二等奖1项、省部级科技一等奖5项（均排名1），第二届全国创新争先奖（2020年）；获发明专利200余项、PCT国际专利15项、美国专利5项；发表SCI论文279篇，撰写著作2部。陈钱教授是教育部“长江学者奖励计划”特聘教授（2002年）、首批“新世纪百千万人才工程”国家级人选、国防科技工业有突出贡献中青年专家；带领团队入选教育部“长江学者创新团队”和“黄大年式教师团队”；培养研究生105名，4人获全国优博提名奖。