针对投影映射中辐射补偿的目标图像对比度与亮度的在线优化

Thanapong Sommart¹ Daisuke Iwai¹

¹ 大阪大学（The University of Osaka）

1. 引言 (INTRODUCTION)

投影映射技术利用光机将二维显示器的数字内容展示能力扩展到现实世界的三维环境中。由于用户和观察者无需佩戴任何外部设备，光机投射系统已被广泛应用于多种领域，例如编辑物理实体的外观以及交互式用户界面。

然而，物理表面通常具有空间变化的反射特性，且属于非朗伯体（Non-Lambertian，即非纯白色漫反射表面），这会影响表面反射的光强度和波长。这意味着人类观察者看到的投影结果会与原始数字内容存在偏差。为了抵消这种效应，需要进行辐射补偿，以计算并投射一个补偿图像，使得该图像与投影表面相互作用后，能产生与目标内容一致的投影结果。执行此类补偿的一种传统技术是使用光机-相机系统获取投影场景的辐射响应信息，从而计算出一个线性的 $3 \times 4$ 颜色校正矩阵（Color Correction Matrix, CCM）。

然而，投影表面的反射率越低，需要的补偿值就越高。由于光机功率有限，其能够投射的光强度动态范围也因此受限，超出此范围的补偿值在投射前必须被截断（Clipped），这意味着投影场景的辐射响应无法得到完全补偿。最简单的解决方案是降低目标像素值的强度，使其处于整个光机映射系统的保守动态范围内，但这会严重降低投射内容的可见性。目前也已提出了其他解决方案，例如应用全局亮度调节、局部过滤空间高频内容、非线性优化以及基于深度神经网络的方法。

在投影映射系统校准过程后，投影场景会发生变化，而其他能够应对此类变化的技术通常显著更加复杂且计算开销巨大。因此，我们提出了一种带有辐射补偿和简单可学习对比度与亮度参数的反馈回路光机-相机系统。该系统旨在寻找一个新的最优目标图像，其对应的补偿图像能在其自身与捕捉到的图像之间提供更好的辐射一致性，同时保持投射内容的可见性和完整性。

2. 提出的方法 (PROPOSED METHOD)

图 1 展示了我们提出的光机-相机系统示意图。该系统由一台消费级低动态范围（LDR）RGB 光机和一台消费级高动态范围（HDR）RGB 相机组成。两台设备的所有自动功能均被禁用，并连接到单个处理设备（如笔记本电脑）。设备经过线性化处理，以确保它们的辐射响应曲线分别呈单位线性。相机相对于光机任意放置，只要相机的视场（FOV）完全包含在光机的投影区域内即可，但它们的光轴不需要对齐。投影场景由任意几何形状且具有空间变化反射特性的纯漫反射物理表面组成，且处于通常静态的光照条件下。对于系统校准，通过投射并捕捉标准灰度码（Gray Code）模式来获取用于几何校正的密集光机-相机对应关系，并获取文献 [4] 中提出的颜色校正矩阵（CCM）用于辐射补偿。此外，还放置了一个面向投影表面的外部光源，以模拟系统校准后光照条件发生轻微变化的情况。

为了避免第 1 节中提到的截断（Clipping）误差，我们建立了一个反馈回路系统，引入了一个可学习的对比度向量 $c \in \mathbb{R}^3$ 和一个可学习的亮度向量 $b \in \mathbb{R}^3$，其初始值分别为 $(1, 1, 1)$ 和 $(0, 0, 0)$。随后，我们不再直接对目标图像 $T \in \mathbb{R}^{h \times w \times 3}$ 进行补偿并执行投影映射以获取捕捉图像 $C \in \mathbb{R}^{h \times w \times 3}$，而是首先对 $T$ 进行线性对比度和亮度调节（CBA），以获得调整后的目标图像 $A \in \mathbb{R}^{h \times w \times 3}$，如公式 (1) 所示，其中 $i \in \{r, g, b\}$ 分别代表向量或图像的 R、G、B 通道。

然后，调整后的目标图像 $A$（而非原始的 $T$）被补偿并投射，紧接着获取相应的捕捉图像 $C$。一旦获得了 $T$、$A$ 和 $C$，我们通过对公式 (2) 中的损失项（Loss term）进行反向传播来计算梯度，并利用梯度下降算法更新可学习参数 $\mathbf{c}$ 和 $\mathbf{b}$。其中，$l_{\text{cb}}$ 和 $l_{\text{pm}}$ 分别代表 CBA（对比度与亮度调节）和投影映射的辐射一致性（在本系统中定义为均方误差 MSE），$\lambda$ 是一个固定的标量超参数。这一优化过程会重复迭代多次，以获得最优参数 $\mathbf{c}^*$ 和 $\mathbf{b}^*$，进而计算出用于替代 $T$ 进行投影的最优调整目标图像 $A^*$。

值得注意的是，由于真实的投影映射过程通常是一个不可微函数，在公式 (2) 中直接比较 $T$ 和 $C$ 将对 $\mathbf{c}$ 和 $\mathbf{b}$ 的优化没有影响。此外，$l_{\text{cb}}$ 确保了优化过程通常倾向于不对 $T$ 进行过度调整，而 $\lambda$ 则本质上控制了在 $C$ 中实现更好补偿值复现的权衡强度（由 $l_{\text{pm}}$ 指示），在该特定情况下，$l_{\text{pm}}$ 起到了正则化项的作用。

3. 实验与结果 (EXPERIMENTS AND RESULTS)

为了验证所提系统的性能，我们在三种不同的投影场景下进行了真实的投影映射实验，并对比了以下辐射补偿条件：无辐射补偿（对照组）、全动态范围 CCM（CCM (Full)）：不进行对比度缩减、保守动态范围 CCM（CCM (Cons)）：将目标图像的对比度缩减至保守动态范围、所提迭代 CBA 方法（CBA (Ours)）

对于所提的 CBA 方法，我们使用 $\lambda = 10$ 和 $0.01$ 的学习率进行了 100 次优化迭代。针对每种辐射补偿技术，通过多种图像指标比较了目标图像 $T$（或 CBA 的最优调整目标图像 $A^*$）与捕捉图像 $C$，以展示像素级和结构级的辐射一致性。所有实验的结果图像和指标见图 2 和表 1。

从表 1 的所有实验中可以观察到，在使用 CCM 执行辐射补偿时，利用全动态范围会降低目标图像与捕捉图像之间的辐射一致性（相比于使用保守动态范围）。然而，如图 2 所示，使用保守动态范围导致的目标图像和捕捉图像由于极端的对比度缩减，其可见度极差。相比之下，我们提出的 CBA 方法能够生成一个最优调整后的目标图像，其内容可以在捕捉图像中得到更好的复现和观察，同时保持良好的可见度。从某种意义上说，生成的调整后目标图像可以被看作是在可用动态范围的两种极端条件之间进行辐射补偿的一个“平衡”解决方案。此外，由于 CBA 是对原始目标图像进行的全局操作，因此调整后目标图像中内容的完整性得到了有效保留。

此外，从图 2 可以观察到，CBA 还可以兼顾实际光机-相机系统中的光照条件变化。场景 1 中，外部光源在系统校准前后均保持关闭，因此所有辐射补偿技术都表现正常。然而，这个例子突显了 CBA 根据投影场景的反射特性调整目标图像的能力。场景 2 中，系统校准后开启光源以提供暖色环境光。场景 3 中，光源最初在系统校准期间开启提供白色环境光，随后关闭。

尽管这些外部变化在图 2 的捕捉投影场景图像中几乎肉眼难辨，但它们对辐射补偿结果的影响可以在生成的捕捉图像中清晰观察到，尤其是对于保守 CCM 方法。然而，CBA 可以在优化过程中进一步将这些环境变化整合到对比度和亮度参数中。这使得场景 2 和场景 3 中的“目标-捕捉”图像对的结构相似性指数（SSIM）在所有辐射补偿方案中达到了最高。

4. 结论 (CONCLUSION)

我们提出了一种带有可学习 CBA（对比度与亮度调节）的反馈回路光机-相机系统，能够根据投影场景当前的反射特性调整目标图像。实验结果证实，我们提出的系统能够生成一个最优目标图像，该图像可以同时保持目标图像内容的完整性、自身与捕捉图像之间的高辐射一致性，以及投影内容的可见性。

未来的工作包括研究更先进的技术，以实现超越像素层面的输入目标图像在线优化，例如在结构层面或语义层面进行优化。

---

本站声明：本文转载自SPIE. DIGITAL LIBRARY，原标题为《Online optimization of contrast and brightness of target images for radiometric compensation in projection mapping》。文章版权归原作者及原载媒体所有。本平台转载仅供微纳制造与半导体领域同行进行技术交流与学术探讨，不代表本平台赞同其观点或证实其内容的真实性。文中涉及的技术参数、工艺流程及行业预测仅供参考。鉴于微纳技术迭代迅速，请读者在实际科研或生产中以最新行业标准及实验数据为准。本平台不承担因使用本文内容而产生的任何直接或间接损失。如原作者认为转载行为不妥或涉及版权争议，请及时联系后台，我们将于 24 小时内删除处理。