Light | 超分辨结构光照明显微重建算法的历史演变

▍撰稿：陈欣，席鹏

▍说明：本文来自论文作者（课题组）投稿

SIM 最初是作为准共聚焦的方法用于去除厚样本中不同垂直图像平面贡献的散焦信息，又被称为光学切片SIM技术（OS-SIM）。随后，为了满足对亚细胞器的精细结构和细胞器之间的相互作用研究日益增长的需求，人们开发了能够超出光学衍射极限限制的超分辨SIM技术（SR-SIM）。

如图1所示，随着硬件和软件的不断发展， SR-SIM技术已经称为下一代宽场显微成像技术的新标准，主要是因为它具备超高成像速度（>500帧/秒），超分辨率（<100纳米），大视场（>200 微米）和长时程成像（>1 小时）等出色的能力。值得注意的是，要充分发挥SIM系统硬件的潜力，需要开发先进的重建算法。

图1：超分辨SIM技术发展的重要历程。

在最近发表在Light: Science & Applications期刊，题为“Superresolution structured illumination microscopy reconstruction algorithms: a review”的一篇综述论文中，由中国北京大学未来技术学院生物医学工程系、北京大学国家生物医学成像中心的席鹏教授领导的科研团队，对SIM技术的进展，尤其是SR-SIM 重建算法进行了全面的综述。这篇论文总结并对比了各种典型的SIM算法，给出了详细的分析结果，便于用户能够在选择适用于特定场景中的合适算法时做出明智的选择。此外，研究人员还提供了对SIM技术未来发展潜力的展望，希望能够促进该领域的进一步发展。

SIM 技术基于莫尔条纹原理，利用一系列正弦激发照明模式对未知样本进行照明。发射光包含了在衍射受限图像中观察不到的样本的精细结构信息并被物镜采集。随后，通过采用一系列SIM重建过程来提取这些未知的样本信息。根据激发照明模式中的谐波级数，SIM可以分为线性SIM和非线性SIM。

▍SIM 实施方式：以线性SIM为例

■ OS-SIM: 为宽场显微镜添加光学切片功能

（1）照明模式：单频格点图案、规则点阵、方形和六角形，及动态散斑照明

（2）采集原始图像数量：多帧、两帧和单帧

图2：OS-SIM执行模态原理图。a：混合散斑和均匀照明显微镜（HiLo），b：线照明调制显微镜（LiMo），c：偏振照明编码结构光照明显微镜（picoSIM）

■ SR-SIM: 实现单方向或双方向的超分辨显微成像

（1）二维 SIM（2D-SIM, 也称为双光束 SIM）：

利用带有横向或者轴向调制的结构化照明模式，分别提高系统相应的横向或轴向分辨率。

（2）三维 SIM（3D-SIM, 也称为三光束 SIM）：

三束相干光载样本中干涉，形成横向和轴向变化的照明模式，从而同时提高系统的横向和轴向分辨率。

（3）四光束干涉（3D-SIM 家族）：

通过直接在样本对面放置反射镜，实现四光束干涉。这进一步提高了3D-SIM本身在轴向上的分辨率。

（4）六光束干涉（3D-SIM 家族）：

将3D-SIM照明系统与两个相对物镜几何结构相结合，实现六光束干涉。这进一步提高了3D-SIM本身在轴向上的分辨率。

图3：SR-SIM执行模态示意图。a：SR-SIM系统原理图，b：2D-SIM，c：3D-SIM，d：四光束干涉，e 六光束干涉

▍SR-SIM 重建算法的发展

SR-SIM的重建过程如图4所示。首先，对原始图像进行图像处理，以提高信噪比(SNR)。接下来，如果不需要参数估计，则可以采用盲SIM重建算法。然而，如果需要参数估计，则可以在傅里叶域和空域中进行重建。此外，还可以利用基于正则化的迭代优化方法来增强重建结果对噪声的鲁棒性。以下是每个部分的发展趋势总结：

图4：SR-SIM重构过程示意图。

■ 参数估计

精确估计周期性照明模式信息，包括照明频率矢量、相位和调制深度。

（1）迭代搜索 ：

● 交叉相关（COR）：具有鲁棒性和高精度，但计算时间较长。

（2）非迭代搜索：

● 自相关（ACR）、相位峰值（POP）、图像重组变换（IRT）：在原始图像具有低SNR或调制深度较弱时无法保证估计的精度。

● 主成分分析SIM（PCA-SIM）：在低SNR情况下能够快速且鲁棒地估计，其精度与COR相当。

■ 傅里叶域重建(FDR)算法：简单且快速

最初的FDR算法基于广义维纳滤波提出的。随后，提出了各种改进的FDR算法，包括：

● 光学像差抑制：基于RL的去卷积、高保真SIM、块重建等。

● 对低SNR情况具有鲁棒性：海森SIM、二阶最优正则化SIM、稀疏SIM、多分辨率分析(MRA)去卷积等。

● 提高重建速度：减少原始图像帧数、滚动重建、GPU加速等。

■ 空域重建 (SDR) 算法：比FDR算法速度更快

最近提出了SDR重建算法。它与FDR算法需要相同数量的原始图像，但不需要进行傅里叶变换操作。

■ 盲SIM重建算法：对畸变的照明模式具有鲁棒性

该方法的重建速度比FDR和SDR重建方法慢了几个数量级。

此外，该论文还总结了现有的开源SR-SIM重建算法，并讨论了它们的特点和应用范围，旨在帮助读者选择适用于其需求的相关重建工具。

▍结合深度学习技术

近年来，研究人员开始探索利用深度卷积神经网络（CNN）提升SR-SIM在空间/时间分辨率、图像深度和成像速度方面的潜力。其中一些技术包括：

■ 对噪声鲁棒性的增强

● 生成对抗网络（GNA）模型

● 基于U-Net的框架（例如U-Net-SIM15）

● 残差编码-解码卷积神经网络（RED-Net）

● 理性化深度学习（rDL）

■ 提高重建速度

● 基于U-Net的框架（例如U-Net-SIM3）

● 深度傅里叶通道注意力网络（DFCAN）及其衍生物DFGAN

● 循环一致生成对抗网络（cycleGAN）

● 通道注意力生成对抗网络（caGAN）

▍总结

■ 商业SIM系统的比较

该论文还从系统分辨率、成像速度、成像视场和多色成像能力等因素对几种代表性的商业SIM系统进行了总结和比较，比如，德国Zeiss Elyra7、日本Nikon N-SIM S和中国Airy Polar SIM。这些信息将帮助用户根据其特定应用选择合适的系统。

■ 结论和展望

（1）结论

● 概述了OS-SIM和SR-SIM的实现方式。

● 深入探讨了SR-SIM重建算法的发展，并对各类别中具有代表性的方法进行了比较。

● 总结了SIM与其他技术的各种组合，以优化成像策略来获得更好的重建质量。

（2）展望

● 与2D-SIM相比，3D-SIM重建需要更复杂的硬件设置和更多的原始图像。需要开发新的系统和重建算法来简化3D-SIM的实验约束并加快重建速度。

● 较快的成像速度意味着信号累积时间更短、获得的图像信噪比更低。基于正则化的迭代优化方法可能更适合，但需要进一步优化，以减少在不同样本上进行参数调整的需要，使其对初学者更加方便。

● 虽然SDR算法可以通过GPU加速实现动态测量，但其重建质量目前还不如FDR结果。探索SDR算法的潜力并开发新的算法有助于填补差距并提高成像速度。

● 深度学习超分辨率图像所传达的信息能在何种程度上用于定量分析，以及在何种条件下这些方法优于传统超分辨率显微镜，目前还不清楚。结合物理模型可以减少不确定性并提供物理上可行的推断，从而弥合基于深度学习和基于物理模型的模型之间的差距。

| 论文信息 |

Chen, X., Zhong, S., Hou, Y. et al. Superresolution structured illumination microscopy reconstruction algorithms: a review. Light Sci Appl 12, 172 (2023).

https://doi.org/10.1038/s41377-023-01204-4

阅读原文