【Light】AI + 100,000 fps 超时空分辨单帧结构光三维成像

导读

近日，南京理工大学陈钱、左超教授研究团队提出了一种基于深度学习的单帧结构光三维超快成像技术（Single-shot super-resolved fringe projection profilometry，简称SSSR-FPP），可实现100,000 fps下的超时空分辨三维成像。SSSR-FPP仅使用一对低信噪比、低分辨率的条纹图像作为输入，并通过减少高速相机的读出窗口来换取成像帧频的显著提升，结合建立的物理域调控信息与后端统计模型的关联信息即可实现高分辨率（超时空分辨探测）绝对相位的精确解耦。依托“物理域”和“计算域”的协同处理，SSSR-FPP可大幅突破探测器的物理读出极限，为探索高速三维动态成像过程开辟了新的方向。该工作以“Single-shot super-resolved fringe projection profilometry (SSSR-FPP): 100,000 frames-per-second 3D imaging with deep learning”为题，发表在《Light: Science & Applications》期刊。

推送导读video

研究背景

为了揭示力学、物理学和生物学中各种瞬态事件的基本科学原理，研究者们长期致力于探索具有高时空分辨能力的三维图像。在众多三维成像技术中，条纹投影轮廓术（Fringe Projection Profilometry, FPP）借助于其非接触、高速、高精度和全场测量等优势成为了当前最热门的技术之一，在工业和科学研究中得到广泛应用。随着数字光投影器、高速光探测器等光电器件以及高性能计算机等运算处理单元的跨越式发展，人们也随之对结构光三维成像提出了更高的期许——既要“精度高”，又要“速度快”。尽管二者似乎天生就是一对矛盾体，“速度”已逐渐成为采用结构光三维成像时所要考虑的“必要因素”。对于结构光三维成像技术而言，单幅投影图案下实现高精度三维重建始终是研究人员追求的终极目标。

近年来，随着人工智能，特别是深度学习（Deep Learning, DL）的迅猛发展，光学计量学也迎来了范式转变。深度学习结合彩色条纹、几何约束及频域复用等技术，已经能够在单帧（即图像传感器帧率上限）条件下实现无歧义的高精度三维成像。然而，现有高速摄像机在较高分辨率下的成像帧率通常仅能达到几千赫兹，且对成像信噪比要求较高。因此，目前所报道的FPP技术最高实现的三维成像帧率仅达到~ 20 kHz，仍无法满足捕捉超快动态现象的需求。进一步提升成像帧率面临像素分辨率下降（受限于读出带宽）及图像信噪比急剧降低（曝光时间缩短）的双重挑战。因此，如何实现“高分辨、快帧频、高信噪比”探测是当前亟待解决的重要问题。

创新研究

针对结构光三维成像中对高时空分辨探测的迫切需求，南京理工大学研究团队近日提出了一种基于深度学习的超时空分辨单帧结构光三维成像方法，该工作以“Single-shot super-resolved fringe projection profilometry (SSSR-FPP): 100,000 frames-per-second 3D imaging with deep learning”为题，发表在《Light: Science & Applications》期刊。该方法通过部分读出成像窗口来实现成像帧频的显著提升，并结合建立的物理域调控信息与后端统计模型的关联信息即可实现高分辨率（超时空分辨探测）绝对相位的精确解耦，有效突破成像系统硬件的物理极限瓶颈（图1），从而使三维成像速率提高一个数量级以上。研究团队通过对不同类型瞬态场景进行实验演示，包括旋转的涡轮风扇叶片，爆炸的建筑块，蒸汽机的往复运动等，展示提出方法在100,000 Hz下的超快三维成像能力。

图1 SSSR-FPP系统示意图

如图2所示，SSSR-FPP仅使用一对低信噪比、低分辨率的条纹图像作为输入，而高分辨率的绝对相位则可以通过特定的训练网络进行解耦。SSSR-FPP采用了两个结构相似但功能不同的卷积神经网络（CNN1和CNN2），它们独立且顺序地进行训练以实现高分辨的相位复原及相位展开。其中，SSSR-FPP方法通过将镜头焦距增加三倍的方式（从24 mm电控调焦到72 mm）以实现高低分辨数据之间的映射学习。这一策略使得SSSR-FPP的成像框架能够结合具有“物理意义”的图像形成先验知识，更加可靠地学习潜在信息，并“重建”丢失的空间分辨率。

图2 SSSR-FPP方法流程图

研究团队通过对两个独立的被测物体（高速旋转的风扇叶片和静态石膏模型）进行动态测量实现以验证SSSR-FPP的时空分辨能力。尽管原始条纹图像中存在严重的背景噪声及图像像素化成像问题，SSSR-FPP仍能清晰重建风扇的几何结构及石膏模型表面细节。为验证测量结果的可重复性，在风扇叶片上选取A、B、C三点，并绘制15 ms内的深度变化，结果表明SSSR-FPP在高速测量过程中展现出优异的稳定性及可重复性。

已关注

关注

重播分享赞

关闭

观看更多

更多

退出全屏

切换到竖屏全屏退出全屏

CSOE计算成像CITA已关注

分享视频

图3 SSSR-FPP方法对旋转叶片和静态被测物体的三维成像结果

此外，研究团队使用这项技术对每分钟约9771转的涡扇发动机模型实现了动态测量，如图4所示，从两个不同的角度展示了对涡扇发动机模型的三维渲染结果。借助于SSSR-FFP的高时空分辨能力，研究团队提供了以0.01ms为时间间隔的连续三维测量结果，可清晰捕捉到运转齿轮在不同时刻的纹理细节。视频1 记录了涡扇发动机模型的动态三维测量结果。相关实验结果进一步巩固了SSSR-FPP在高速动态成像场景下三维重建的鲁棒性和通用性，特别是在具有复杂几何形状和表面反射率的瞬态物体场景下。

图4 SSSR-FPP方法对涡扇发动机模型的三维测量结果

视频1 涡扇发动机模型的动态三维测量结果

总结与展望

SSSR-FPP方法通过缩小成像窗口并结合深度学习技术，有效突破传统高速相机的物理极限，弥补了成像速度与分辨率之间的鸿沟，使三维成像速率提升至100,000 fps以上。该方法不仅克服了传统成像技术在超快瞬态现象捕捉中的速度瓶颈，同时在确保高精度成像的基础上提供了足够的空间分辨率，刷新了超快瞬态结构光三维成像速度的纪录。

展望未来，随着更高成像帧率传感器的迭代更新、高功率照明光源与大孔径光学系统的加持，基于SSSR-FPP的三维成像帧率有望进一步突破至百万帧每秒甚至更高。SSSR-FPP技术为深度学习与光学测量技术的深度融合提供了理论依据和实践支持，推动更为精细化和实时的瞬态现象测量，特别是在生物医学、材料科学及精密制造等领域的广泛应用。

实验室介绍

南京理工大学智能计算成像实验室（SCILab: www.scilaboratory.com）隶属于南京理工大学光学工程国家一级重点学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为教育部长江学者特聘教授、国际光学工程学会会士（SPIE Fellow）、美国光学学会会士（Optica Fellow）、英国物理学会会士（IOP Fellow），入选科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在生物医药、智能制造、国防安全等领域的前沿应用。研究成果已在SCI源刊上发表论文260余篇，其中45篇论文被选作Light、Optica、AP、PhotoniX、OEA等期刊封面论文，23篇论文入选ESI高被引/热点论文，论文被引超过18000次。获欧洲物理学会菲涅耳奖（Fresnel Prize）、获中国光学工程学会技术发明奖一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展“特别嘉许金奖”等。培养博士生6人获全国光学工程优秀博士论文/提名奖、2人获国际光学工程学会（SPIE）光学与光子学教育奖学金、5人获中国光学学会王大珩光学奖、10人获Light全国光学博士生学术联赛全国百强。研究生获国家奖学金30余人次，国际会议最佳报告/海报奖40余人次。学生团队获全国“挑战杯”、“互联网+”、“创青春”、“研电赛”金奖/特等奖15次，2023年，获“互联网+”全国总冠军。师生双创事迹得到央视《焦点访谈》、人民网、新华网、光明日报、中国教育电视台等百余家媒体报道，社会辐射影响广泛。