超快成像在生命科学中萌生新应用

潜伏在珊瑚礁中的枪虾（Snapping shrimp）体长仅约 3 厘米，但它拥有海底最强大的爪子之一。这种生物的爪子闭合得如此之快，以至于会喷出一股水流，产生一个气泡，气泡破裂后会发出标志性的响声。但当这些气泡破裂时，空化也会释放等离子体和光能。枪虾利用这种效应来与猎物交流或击晕猎物。但其独特的才能还比电诱导微泡或激光诱导空化泡更有效地产生水下等离子体。

直到 2019 年，模仿甲壳类动物生物力学的努力才告成功，当时德克萨斯农工大学的研究人员在《Science Advances》上发表了一篇论文，详细介绍了他们如何开发出一种仿生设备，可以模仿枪虾高效产生等离子体的能力。他们借助超快成像实现了这一目标。

超越物理科学

虾的研究只是超快成像技术正在扩展到物理科学核心市场之外、探索生命科学机会的领域之一。这种成像技术现在可用于 DNA 测序、湍流动力学、替代药物输送系统、神经系统和行为研究以及生物力学的研究。

iX Cameras 总裁兼首席执行官 Peter Carellas 表示：“超快和高速相机在历史上已经在物理科学领域崭露头角。” “随着涉及成像的应用不断涌现，它们现在对生命科学家越来越有吸引力。这种自然演变对于超快相机来说是个好兆头，因为它们在现在需要非常快速地捕获和处理数据的应用中取代了传统速率相机。”

Photron 于 2010 年推出了德克萨斯 A&M 研究人员使用的相机，但 2022 年出现了更新的超高速迭代，目前杜克大学Patek Lab的研究人员正在使用该相机对螳螂虾进行类似的空化研究。这款新相机可以以 >270,000 fps 的帧速率捕获 640 × 480 像素的图像。

Photron 销售和营销总监 Tim Callenbach 表示，在购买 Photron 的新型超快相机之前，杜克实验室使用的设备在 1 MP 分辨率下最大帧速率为 20,000 fps。

“因为该应用需要使用高放大倍率镜头（带有大量内部光学器件），并且因为虾在水中且位于玻璃后面，并且因为需要短时间曝光来减慢非常非常快速移动的虾的运动，光敏感性是一个问题。此外，由于虾的速度非常快，因此有必要利用非常高的帧速率。”Callenbach说。

高速与超快

Photron 将超快定义为能够以 1-MP 分辨率捕获 70,000 fps，或以 640 × 480 像素捕获约 250,000 fps。相比之下，高速仅需要 2000 fps 的捕获能力（最低分辨率为 1 MP）。Callenbach 表示，提供 3、4 和 5 MP 分辨率的高速摄像机变得越来越普遍；和 9.4-MP 高速摄像机（业内称为 4K 摄像机）现在的帧速率 >1000 fps。

使用单荧光分子成像系统捕获的超快光活化/光转换定位显微镜 (PALM) 图像。研究人员开发了该系统来分析质膜中的单分子轨迹，并证明它可以以 30 kHz 的帧速率对荧光染料进行成像，比传统视频快 1000 倍。在这里，它揭示了活细胞中小凹的形状变化、迁移和形成/消失。

10- × 10-μm2 观察区域中小凹的衍射极限图像和 PALM 图像(a)，数据采集周期为 1 s。中间列(b)中的紫色轮廓图像显示(a)中紫色方形区域的扩展图像，用于 1 到 2 秒之间的数据采集。中间行中黄色方块包围的区域在底行中被放大，并且在每个1秒周期内确定的单个mEos3.2分子的定位由红点(c)表示。由冲绳科学技术大学院大学提供。

例如，Photron 去年推出了一款 9.4-MP 相机，能够在全分辨率下捕捉 1250 fps，在降低分辨率时可以实现更快的帧速率。

随着传感器实现更快的像素吞吐率以及新的和改进的背面照明 (BSI) 设计的出现，高速相机将进入以前为超快成像保留的领域。卡伦巴赫说：“尽管传统的超快相机仍然具有明显更高的帧速率（至少目前如此），但由于它们可以捕获的帧数量和感光度有限，它们正在放弃市场空间。”

速度限制

超快和高速摄像显然都需要短曝光时间，这通常得益于外部照明对成像对象的额外照明。iX Cameras 公司利用 LED 照明、低成本激光照明、高功率窄带照明和结构照明解决方案方面的最新进展，开发了正在申请专利的同步集成光控制技术，旨在补充纳秒级曝光时间。

在优化快门速度和分辨率之间的关系时，照明也很重要。对于传统相机来说，这种连接通常不是什么问题。但对于超快成像，图像分辨率与帧速度相关，而帧速度有助于确定快门速度。最终，随着帧速率和快门速度的增加，传感器收集光子的时间会减少。卡雷拉斯说：“这凸显了对创新照明和相关照明控制功能的需求。”

RDI Technologies 还开发了同步 LED 频闪照明，以满足许多不同的工业和科学应用的需求。LED 闪光灯可产生与相机快门和帧速率同步的明亮、短的光脉冲，从而缩短曝光时间并扩大镜头光圈。“结果是清晰的图像，没有运动模糊和更大的景深，帧速率超过 16,000 fps，”RDI 的 Fastec 品牌销售经理 Tom Boldt 说。

提高帧速率不仅需要更快地将光子集成到像素中，还需要更快的读出和处理。卡雷拉斯说：“随着传感器变得越来越强大并且每秒能够处理更多像素，无论是通过以太网流传输还是在相机上本地存储，技术的集合现在限制了相机的速度。” “新的图像/数据传输技术、更快的 FPGA [现场可编程门阵列] 和更密集的内存都是超快相机设计人员在该领域进行创新的例子。”

细胞过程

旨在捕获细胞过程的显微镜研究使用基于科学 CMOS (sCMOS) 传感器的极高速成像仪。此类器件具有低噪声、宽 16 位动态范围和高量子效率。捕获此类短暂事件可能需要有选择性的妥协，以便为目标应用程序找到适当的平衡。

允许更多的噪声是在实验性单荧光分子成像（SFMI）系统中实现更快速率的关键，该系统由包括冲绳科学技术研究所和京都综合细胞材料科学研究所在内的国际团队开发。研究人员开发了他们的系统来分析质膜中的单分子轨迹，并证明它可以以 30 kHz 的帧速率对荧光染料进行成像，比传统视频快 1000 倍。以前的 SFMI 相机只能达到 400 Hz 的速度。

“我认为，此前，从事 SFMI 工作的科学家和工程师都专注于这样一种观念，即开发读出噪声较低的传感器是关键问题。冲绳科学技术研究生院生物物理学教授 Akihiro Kusumi 说：“他们可能从未想过使用速度更快但噪音更大的 CMOS 传感器。”

虽然超高速科学成像仪通常使用 sCMOS 光电传感器，但 Kusumi 表示，他的团队使用了更传统的 CMOS 芯片，在大多数情况下，这种芯片对于单分子成像来说会出现问题，因为其读出噪声要大数百倍。“我们需要使用 CMOS 传感器来提高速度，”Kusumi 解释道。

利用从非线性电子顺磁共振光谱中收集到的技术，该团队采用带有三级微通道板的图像增强器作为前置放大器，克服了 CMOS 传感器的大读出噪声。“由于最终探测器（传感器）产生的噪声很大……传感器阶段之前产生的信号和噪声都可以被放大，而不必担心早期阶段的噪声水平太大，”Kusumi 说。

因此，系统的时空分辨率受到荧光团光物理而不是相机的光子限制。该相机可以在高达 110 kHz 的频率下运行，但由于从单个荧光分子获得的光子数量有限，单分子定位的精度在该速度下变得令人无法接受。借助 SFMI 系统，该团队可以跟踪极其短暂的动态运动和分子相互作用。例如，Kusumi 表示，他们能够观察到细胞质膜中的分子甚至在粘着斑内也发生跳跃扩散。

生命科学领域的另一项破纪录的超快成像进步是由加州理工学院的光学成像实验室开发的。2020 年，加州理工学院团队首次推出了能够记录 70 万亿帧每秒的压缩超快光谱摄影 (CUSP) 系统。据该团队介绍，该系统是有史以来第一个单次光谱分辨荧光寿命成像显微镜（SR-FLIM），能够在单次采集中记录具有良好空间和光谱分辨率的皮秒尺度图。去年，加州理工学院团队透露，他们已经翻新了 CUSP 系统，通过优化啁啾脉冲序列中的啁啾参数实现了 219 万亿帧/秒的新成像速度记录。

CUSP 系统将相干飞秒激光器的极短脉冲和高反射率低啁啾超快反射镜与 Hamamatsu 条纹相机相结合，提供 10 THz 的剪切速度和 50 ps 的时间范围。

“我们没有使用条纹相机的时间剪切来区分时间，而是利用啁啾超短激光脉冲中的大量波长以更精细的分辨率来标记时间。CUSP的成像速度不再受条纹相机中电子扫描速度的限制。为了克服观察窗口有限的问题，我们引入了脉冲序列来扩展帧总数。结果，一次拍摄可以捕获近 1000 帧。”加州理工学院医学工程和电气工程教授 Lihong Wang 在博士后 Peng Wang 的帮助下领导了 CUSP 项目。

速度的成本

Optronis 的销售总经理帕特里克·萨姆 (Patrick Summ) 表示，生命科学研究人员仍在了解高速成像可以为他们带来什么。他说，这导致他们要么高估高速成像的功能，要么忽视其可能性。

这种高估背后的一个因素是，许多高速和超快相机设置对于许多生命科学研究人员来说成本太高。它们的价格通常从 20,000 美元到 250,000 美元不等。Wang 表示，加州理工学院的 CUSP 系统成本是高端价格的两倍多。

Callenbach指出，随着技术的进步，该价格范围内相机的性能如何不断提高，他相信，价格较低的相机将继续改进，直到它们在所有可以受益于高端技术的科学学科中得到更广泛的应用——测速摄像头。

参考文献

1. X. Tang and D. Staack. (2019). Bioinspired mechanical device generates plasma in water via cavitation. Sci Adv