【“计算光学成像技术与应用Ⅱ”专栏】光场成像技术——重塑视觉维度81
发表时间:2024-11-20 19:50 撰稿人:张润南,左超 论文题目:光场表征及其分辨率提升技术:文献综述及最新进展(特邀) 作者:张润南1,2,3, 周宁1,2,3, 周子豪1,2,3, 杜和恒1,2,3, 陈钱2, 左超1,2,3 完成单位:1.南京理工大学 电子工程与光电技术学院 智能计算成像实验室(SCILab);2.南京理工大学 江苏省光谱成像与智能感知重点实验室;3.南京理工大学 智能计算成像研究院(SCIRI) 导读 自高斯时代以来,成像系统的设计和开发便始终致力于透镜的持续迭代和优化,以收集来自物平面上某点向不同方向发射的光线,并尽可能完美地将其汇聚到像平面上的一个点。然而,成像传感器仅能捕捉并记录下光线的空间位置信息,导致角度信息的丢失,并完全丧失了对三维场景的视角变换与深度感知能力。为了弥补这一缺陷,计算光场成像技术应运而生,它能够记录空间光辐射场的完整分布,联合记录空间位置和角度信息,突破了经典成像的局限性,正逐渐被应用于生命科学、国防安全、虚拟现实/增强现实、环境监测等领域,具有重要的学术研究价值和广阔的应用潜力。然而,光场成像技术仍然受到数字成像器件和图像传感器的联合制约,成像系统的有限空间带宽积致使光场成像在实际应用中往往需要在空间分辨率和角度分辨率之间做出权衡,导致难以达到传统成像技术的高空间分辨率。自光场成像技术诞生以来,如何赋予其更高的自由度,即在保持高分辨率成像的前提下,提高时间分辨率和角度分辨率,从而实现更清晰、更立体的成像性能是光场成像技术亟需解决的关键问题,也一直是该领域的研究热点。本综述全面回顾了光场成像技术的发展历程,阐述了全光函数和四维光场的基本概念,并总结了在时间、空间和角度这三个维度上实现高分辨率成像的关键方法,最后还对光场成像技术的未来发展趋势进行了展望。 研究背景 人眼作为人类最为重要的感官之一,扮演者帮助我们感知客观世界、获取外部信息的关键角色。它提供了人类最重要的感觉系统——视觉,使客观世界变成一张张生动鲜明的影像。受到人眼视觉系统“所见即所得”成像特性的启发,现代光电成像技术在模拟这一自然机制方面取得了显著进展。传统的光电成像器件通过精密的光学系统和感光元件,实现了对现实场景的点对点映射,将客观世界的物体转化为二维平面上的图像。然而,这种点对点的成像方式记录了场景的二维投影,丢失了客观世界的丰富信息,在时间、空间、维度、分辨率等信息获取方面均存在局限性。 传统光学成像系统涉及到复杂的光学计算和精密的物理设计,旨在减少光学系统像差,提高成像的清晰度和精确度。光场成像技术为光学系统带来了新的视角。它不再单纯追求单个完美焦点的成像,而是通过记录场景中光线的丰富信息,包括光的方向和强度,来获得一个完整的光场。这种技术允许在成像后的后处理中,对焦点、曝光、像差和其他视觉参数进行调整,并可以与计算成像技术结合衍生出新的成像机制,从而突破了传统光学成像的局限,为成像技术的发展开辟了新的可能性。光场成像技术在计算摄影、生命科学、国防安全、虚拟现实/增强现实、光谱成像等领域得到了广泛应用,已经成为国内外研究团队的热点关注领域。 尽管光场成像技术在近年来取得了显著的进展,但它在实现广泛应用的道路上仍然面临着诸多挑战。一个最主要的技术难题是如何有效地获取和处理高维度的光场信息。为了获取场景的高维度信息,光场成像系统往往在空间分辨率、角度分辨率和时间分辨率等方面做出折衷,这种权衡往往导致各个维度的分辨率都不尽如人意。另一方面,虽然光场数据提供了丰富的信息,但是如何充分利用这些额外的信息以更好实现新的应用功能,如深度估计、合成孔径、像差校正等,还需要进一步的探索和创新。本综述旨在深入探讨光场成像的基本原理以及对其分辨率突破方法,同时也指出了目前存在的挑战以及未来发展方向。 主要内容 1、光场的定义 光,作为电磁场的一种表现形式,具备波长、振幅、相位等一系列物理属性。在传统的成像技术中,我们仅能捕捉到光辐射场在二维平面上的投影强度,而无法获取光线角度等多维度的光学信息。相较之下,光场成像技术的理论基础源于全光函数(plenoptic function),该概念属于射线光学的范畴,其核心在于为物理空间中传播的光线赋予相应的辐射量度(radiance)。光场成像技术认为,在三维空间中,光线会向各个方向传播并穿透物体,期间可能会遭遇阻挡、衰减或散射等现象。通过捕捉这些复杂的光学行为,光场成像技术能够提供更为全面和深入的光学信息,从而极大地扩展了我们对光与物质相互作用的理解。与计算视觉等领域通过建模来模拟这种光的复杂的行为所不同的是,全光函数提供了一种非物理的、摒弃模型依赖的、纯粹基于光现象学描述的光分布方式。为了适应光的所有可能变化而不依赖于某个基础模型,它采用了一种高维度的描述方式:在空间的任意位置、针对任意可能的传播方向、覆盖所有波长,并且在时间的每一刻,都能够赋予不同的辐射亮度值,如图1所示。实际上,全光函数可以进一步被简化为一个四维函数。四维光场被定义为空间中沿光线的辐射亮度分布。通过这些简化和约束,光场表征得以从全光函数这一更广泛的描述中提炼出来,为光学成像和计算提供了一个更为精确和实用的理论框架,推动光场成像技术从理论走向了实际应用。 图1 全光函数及其简化的光场定义示意图。(a)七维全光函数;(b)沿着光线的辐射亮度L可以被认为是沿着所有可能的通过一个管子的直线上的光量,该管子的大小由其立体角和横截面积决定;(c)通过坐标(x,y,z)和角度(θ,φ)来参数化一条光线;(d)如果没有遮挡物,沿着光线的辐射亮度保持不变,这导致了全光函数的冗余 上述的定义都将光辐射近似为几何光线,而忽略了其波动特性。维格纳分布函数和模糊函数是两种常用的相空间中表征形式。维格纳分布函数及其傅里叶变换——模糊函数可以用于代替复杂的菲涅尔衍射积分来计算光辐射在光学系统中的传播和变换。光场实际上等同于经过平滑处理的维格纳分布函数,并且在几何光学近似的条件下,与原始的维格纳分布函数是等价的。实际光场的观测值等于光辐射之维格纳分布函数与光学系统孔径函数之维格纳分布函数的卷积。相比于几何光场的定义,这一观测光场(Observable light field)更精确地描述了衍射受限的光辐射分布特性。于此同时,与观测光场类似,增强光场(Augmented light field, ALF)的概念被提出来将光场推广到波动光学中进行解释。图2展示了光场、维格纳分布函数以及增强光场之间的关联。如图2(a)所示,波前的相位与相应光线的角度相关。在维格纳分布函数表示中,相位被表示为局部空间频率,图2(a)展示了一个球面波前和光线的示意图,光线垂直于波前。维格纳分布函数代表局部空间频率。在维格纳坐标空间中,球面波的维格纳分布函数与位置-角度坐标空间中的光场相似。光线的传播角度可以由局部空间频率表示。与光场不同,维格纳分布函数和增强光场能够支持衍射和干涉现象。考虑经典的双缝实验,如图2(b)所示,在针孔处的衍射波前传播到屏幕上形成正弦波图案。而增强光场表示引入了一个位于双缝中点的“虚负光源”(由蓝色表示),在剪切和投影之后,可以成功地产生正弦波干涉条纹,准确地表示了干涉现象。这种“虚负光源”的引入与维格纳分布函数中的负值相呼应,揭示了干涉相消的物理本质。 图2 光场、维格纳分布函数与增强光场。(a)波前的相位与相应光线的角度相关。在维格纳坐标空间中,给定z处的球面波的维格纳分布函数类似于位置-角度坐标空间中的光场。光线的传播角度被编码在局部空间频率中;(b)维格纳分布函数与增强光场通过引入“虚负光源”支持表示衍射和干涉现象 2、高时间分辨率光场成像 在传统相机成像光路中插入一块微透镜阵列,使得相机能够单帧记录四维光场。这一特性使得高速动态三维场景记录成为可能,并很快在显微成像领域得到了广泛应用。光场显微成像技术,作为一种新颖的高速体成像方法,迅速在生命科学界占据了一席之地,并开拓了其独特的应用领域。该技术在很大程度上突破了传统显微成像技术,如共聚焦显微成像、光片显微成像以及双光子显微成像等,在成像速度方面的局限性,为生命科学研究者提供了更为丰富和精确的三维成像数据,极大地推动了生命科学研究的进展和深入。 基于微透镜阵列的光场成像 在基于传统科勒照明的明场显微镜的原始成像面插入一块微透镜阵列,图像传感器放置于微透镜阵列后焦面处,类似于基于微透镜阵列的光场相机,该成像系统能够获得样本在不同视点和不同焦面处的显微图像。通过光强堆栈和点扩散函数进行3D反卷积,可以实现单帧体成像,图 3展示了光场显微镜的基本结构以及在生命科学中的应用。 图3 基于微透镜阵列的高速光场显微成像技术。(a)传统显微光路和光场显微光路结构;(b)整个秀丽隐杆线虫和斑马鱼幼虫大脑中的神经元活动进行功能性成像;(c)对幼年斑马鱼的视觉诱发行为和捕食行为期间进行神经活动的功能性成像;(d)对小鼠皮层进行高达380微米深度的视频速率体量钙离子成像;(e)使用荧光微球对光场流式细胞仪进行表征 基于不规则相位掩膜的光场成像 受到四维空间-角度光场信息编码与记录方式的启发,在光路中放置一块相位散射片(diffuser),将空间-角度信息编码到一个散斑场(即衍射图样)中,并从单张散焦图像中解调出四维光场数据。光线经过成像透镜和散射片,其中散焦对光场空间和角度信息进行编码,再传播至图像传感器,进而计算重构出光场信号。与现有的单帧体积获取方式相比,该系统更小更轻,在整个可用深度范围内的横向和轴向分辨率提高了两倍以上,能够在自由移动动物中对神经体成像,以及在孵化器和芯片实验室设备中对动态样本进行三维运动研究。 图4 基于散射片的光场成像。(a)DiffuserCam:使用散射片记录和重建光场。物体光通过透镜和相位板,然后传播到传感器,焦散图编码了空间和角度信息。通过解决一个线性逆问题来重建包含三维信息的光场,使得光场可以进行数重新聚焦等;(b)Fourier DiffuserScope:将散射片放置于傅里叶平面,并在微透镜焦距之后放置一个传感器;(c)MiniScope3D:移除了显微镜的管镜,一个厚的相位掩膜放置在物镜的傅里叶平面 基于频域调制的外差式光场成像 另一种获取光场的结构还包括外差式光场相机(Heterodyne light field camera)。与基于微透镜阵列的光场成像方法在空间域对光场进行调制不同,外差式光场相机对四维光场在傅里叶频域中进行调制。从傅里叶域来看,某个深度位置所成的像就是四维光场沿相应角度的二维切片。如果在这个深度平面放置一片具有特定透过率函数的编码掩膜,则光线经过掩膜滤光的过程在傅里叶域表现为光场频谱与透过率函数傅里叶变换的卷积。将掩膜透过率函数设计为余弦函数、其傅里叶变换为脉冲函数,就可以实现光场频谱沿角度的复制和搬移。调制后的光场再会聚到探测器上,即沿零度角重新作切片采样(虚线方框内所示)采样后的图像频谱中已经包含了光场方向维度的频谱信息。对光场进行解调时将探测器图像的频谱依序重新排列,即可得到四维光场的频谱。 图5 外差式光场相机在傅里叶域中的调制和解调过程 基于相机阵列的光场成像 通过微透镜阵列、相位散射片等方式,能够动态记录和重建光场的空间-角度信息。然而,这些方法仍然依赖于传统的二维相机传感器,不可避免的会存在空间分辨率和角度分辨率的权衡。为了克服这一局限,除了增加和优化硬件设施,使用相机阵列也是一种高速光场获取方式。 图6 相机阵列设计结构。(a)光场视频摄像机;(b)Yang设计的相机阵列结构;(c)Wilburn 和Joshi设计的大规模相机阵列;(d)使用8个相机进行光场采集;(e)Lytro公司最新推出的虚拟现实光场相机Immerge 2.0 3、高空间分辨率光场成像 光场成像技术因其能够动态捕获场景的四维信息而获得了广泛应用,为观察者提供了对场景深度和视角变换的全新感知。然而,如何提升其空间分辨率,从而实现更清晰的成像效果,进一步拓宽其潜在用途,仍是研究者们追求的目标。 基于传递函数的光场反卷积 光场相机能够从单次拍摄中获取场景的四维空间-角度信息。然而,这种方式是以牺牲空间分辨率为代价来换取角度分辨率。光场相机的空间分辨率取决于微透镜阵列的尺寸,即光场相机的空间分辨率采样远低于传感器的像素采样,导致了空间采样的混叠。尽管现有光场成像技术生成的图像分辨率通常低于传统成像技术,但通过明确地模拟成像过程,并结合Lambertian反射和纹理统计等先验信息,可以以更高的分辨率重建这些图像,并消除混叠的影响。 图7 光场超分辨率。(a)展示了光场相机二维截面的图解;(b)第一行:展示了从光场图像中提取的一个视图,以及对应光场图像和中心视图的局部细节(每个微透镜对应一个像素点,类似于传统成像技术);第二行:展示了估计得到的深度图(单位为米),将上述光场图像重新组织成多个视图,以及通过超分辨率算法增强后的中心视图 压缩光场成像 由低维度数据重建高维度光场本质上是一个不适定(ill posed problem)逆问题(inverse problem)的求解,解决不适定性的有效途径是在图像处理中引入关于图像的先验信息,将不适定性问题正定化,从而获得重建问题的最优解。压缩光场成像这类“以少博多”、“以小博大”的方式,需要借助于物体或者光场本身的稀疏性这一先验条件,存在依赖样品的特殊性质这一缺点,限制了其普适性。 图8 基于先验条件约束的光场成像。(a)压缩光场相机架构以及利用光场原子作为自然光场的基本构建块,从优化的二维投影中稀疏重建四维光场;(b)压缩光场显微镜的原理以及提取单个神经结构的三维位置;(c)稀疏分解光场显微镜的原理以及对斑马鱼幼鱼的全脑成像 孔径编码光场成像 本课题组将孔径编码技术应用于显微成像,提出了孔径编码显微技术(programmable aperture microscopy)。通过将可编程液晶显示屏(LCD)集成到传统宽场显微镜中,实现了多模态计算成像。LCD在显微镜物镜的后孔径处选择性地调制光的分布,使得在单一设备中能够快速实现并切换多种成像技术,包括明场、暗场、差分相衬成像、定量相位成像、多视角成像和全分辨率光场成像模式。 图9 基于孔径编码的光场成像技术。(a)可编程孔径光场摄影技术;(b)可编程孔径显微技术以及多模态成像;(c)相空间复用三维荧光体成像技术;(d)不同孔径编码图案下的三维传递函数;(e)可编程孔径光场显微技术 扫描光场成像 通过多张低分辨率图像重建高分辨率图像也是一种常见的超分辨率方法。在超分辨率成像技术中,提升图像的空间分辨率的基础是有多个从同一场景捕获的低分辨率图像。在超分辨率成像中,这些低分辨率图像通常代表了对同一场景的不同“观察视角”。这意味着,这些图像不仅经过了亚像素级的精确移位,还可能存在一定程度的混叠现象。然而,如果这些图像之间存在不同的亚像素级移位,并且伴随着混叠,那么每个图像就包含了其他图像所没有的独特信息。在这种情况下,每个低分辨率图像中所蕴含的新信息可以被用来合成高分辨率图像。多帧图像超分辨的核心思想在于利用时间带宽(获取同一场景的多帧图像序列)换取空间分辨,构建病态逆向问题的求解矩阵。为了获取同一场景的不同观察视角,需要存在相对场景的运动。 图10 扫描光场超分辨率成像。(a)DAOSLIMIT原理以及观测小鼠肝脏中中性粒细胞迁移过程中的迁移过程;(b)元成像传感器的工作原理,以及多点数字自适应光学(Multisite DAO)对抗地面望远镜所面临的动态大气湍流成像结果 强度堆栈光场反演 另一类计算光场成像技术是通过轴向移动相机采集聚焦堆栈图像序列,基于强度测量进行光场反演,相比于编码掩膜,其优点在于图像采集过程中可以保持相机孔径全开,大大增加了信噪比。几何近似下的光场成像同样具备与维格纳分布函数光学信号变换类似的成像性质,例如光场传播等效于四维光场的空间坐标剪切,剪切后的光场沿角度坐标轴进行投影可以获得聚焦于特定深度的等效成像效果。通过获取不同轴向位置的强度图像即可使用反向投影进行光场重建(light field back-projection,LFBP)。 图11 光场重建的反投影原理。(a)拍摄图像与光场之间的关系,使用反投影从拍摄图像重建光线场;(b)一个真实3D场景重建的EPIs的示意;(c)使用SART迭代算法重建光场的结果示意图 光场矩成像 反向投影法通常需要较高的轴向采样率来保证光场重建的质量,仍需要采集较大数量的图像序列。相较之下,使用光强传输方程只需增加一幅额外的离焦光强图像(一幅聚焦图加上一幅离焦图)就可以恢复出相位信息。从信息量角度来看是合乎逻辑的。因为光波场的复振幅仅仅定义在二维平面上,采用离焦光强图像的信息“置换”出相位信息在信息量上是“守恒”的。“光场矩成像”实际上就是光强传输方程在几何光学近似下的变体,因此任何关于光强传输方程的求解与轴向微分估计算法等均可以直接“移植”到光场矩成像中。 图12 缓变物体在空域平稳照明下的光场表示。样品针对入射光场分布表现为一种角平移不变性,在每个位置,每个入射光线的方向都会随着物体相位梯度的大小而移动 4、高角分辨率光场成像 光场相机在空间分辨率和角度分辨率之间面临一个固有的权衡问题,往往导致二者的分辨率均受到损失。接下来将介绍光场角度分辨率的提升方法。 基于视角插值的光场成像 采用计算机视觉技术来对缺失的角度采样进行直接插值,从而补偿输入中的较低角度分辨率是一种较为直接的角度分辨率提高的方式。除此之外,依靠对场景的精确深度估计来提升角度分辨率也是一种常用的方法。 图13 角度超分辨率示意图。(a)视差精细化示意图。对极线平面图的上采样示意图,图像展示了输入数据集的视差平面图像的五个层,这些图像具有5×5个视图。角度超分辨率后可以观察到,生成的视图插值具有高质量和准确的遮挡边界;(b)在相位域中迭代地进行视差估计和视图合成,从微基线立体对重建了密集采样的四维光场 基于傅里叶域分析的光场成像 另一种对光场进行分析的方法是从傅里叶域入手。利用连续傅里叶域中的稀疏性来从少量视角采样中重建高分辨率的四维光场。该方法从频谱的某个初始近似值出发,模拟连续稀疏谱向离散域的投影,优化连续频率域内的稀疏性。该方法能够重建那些从未被直接记录的高质量视图,甚至可以外推至记录视场之外的新图像。 图14 离散与连续傅里叶域中的稀疏性,以及重建结果。(a)水晶球光场的特定二维角度切片的离散傅里叶变换(顶部),及其重建的连续版本(底部);(b)光场四维数据,算法中使用的图像已突出显示;(c)和(d)为两个重建的视角,展示了这个高度非朗伯特场景的成功重建。(c)和(d)的uv位置在(b)中以蓝色和绿色框显示 在傅里叶域下利用一系列剪切波构成一个复合滤波器,对频谱信号进行更好地滤波,并解决由欠采样导致的混叠频谱问题。由于采样不足,混叠的副本(灰色)和期望信号(绿色)发生了重叠,因此使用传统的滤波方法进行带限重建是不可行的。通过4个深度层的频率平面划分,如果给定了深度层,能够在极线平面图中进行插值,而不会产生混叠伪影。 图15 极线平面图在频域中的性质。(a)在t轴上采样不足的极线平面图的频率域结构,重叠区域表示混叠现象;(b)基于深度信息的频域分离;(c)基于二进制缩放的频率域分离;(d)用于极线平面图的稀疏表示的复合方向和基于缩放的频域分离 结论与展望 本文概括性地介绍了高分辨率光场成像技术的研究进展,涵盖了光场成像的理论基础、技术发展、以及在不同领域的应用情况。文章首先介绍了光场成像技术的发展,从20世纪初的早期概念到现在的成熟技术,并对七维全光函数及简化的四维光场基本概念进行了阐述。光场成像技术的核心在于其能够获得场景的高维度信息,包括时间、空间和角度等维度,这三个维度相互关联,提升某一维度的性能往往需要在其他维度上做出妥协,如何突破这一权衡,使得成像速度更快、分辨率更高、视角更多是光场成像技术的关键挑战。文章进一步探讨了光场成像技术在高时间、空间和角度分辨率方面的最新研究进展。 展望未来,随着对光场高维度信息应用的深入挖掘,光场成像技术的发展可能会集中在以下几个方向:
团队介绍 南京理工大学智能计算成像实验室(SCILab:https://www.scilaboratory.com/)隶属于南京理工大学光学工程国家一级重点学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为国际光学工程学会会士(SPIE Fellow)、美国光学学会会士(Optica Fellow),入选科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术,在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作,并开拓其在生物医药、智能制造、国防安全等领域的前沿应用。研究成果已在SCI源刊上发表论文250余篇,其中40篇论文被选作Light、Optica、PhotoniX、LPR等期刊封面论文,20篇论文入选ESI高被引/热点论文,论文被引超过17000次。获中国光学工程学会技术发明奖一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展 “特别嘉许金奖”等。培养研究生6人获全国光学工程优秀博士论文/提名奖,5人获中国光学学会王大珩光学奖,10人入围Light全国光学博士生学术竞赛全国百强,获“挑战杯”、“创青春”、“研电赛”全国金奖十余次,“互联网+”全国总冠军。 文章信息 张润南, 周宁, 周子豪, 杜和恒, 陈钱, 左超. 光场表征及其分辨率提升技术:文献综述及最新进展(特邀)[J]. 红外与激光工程, 2024, 53(9): 20240347. DOI: 10.3788/IRLA20240347 全文链接:光场表征及其分辨率提升技术:文献综述及最新进展(特邀) 复审 | 左超 |