下载客户端

编辑类级别的神经辐射场，可修改对象颜色或形状

2021-08-30 07:19

来源：澎湃新闻·澎湃号·湃客

选自arXiv

作者：Steven Liu等

机器之心编译

机器之心编辑部

可以更准确地捕获对象类的形状和外观，然后再描述如何更新网络权重以实现颜色和形状编辑效果的神经网络架构。

神经辐射场（NeRF）是一种场景模型，支持高质量的视图合成，并对每个场景进行优化。在本篇论文中，来自 MIT、 Adobe Research 、CMU 的研究者探索了允许用户能够编辑类别级别的 NeRF，也被称为条件辐射场，在一个形状类别上进行训练。具体而言，研究者提出了一种将粗糙的 2D 用户涂鸦传播到 3D 空间以修改局部区域的颜色或形状的方法。

它的效果是这样的，可进行颜色编辑：

还能进行形状编辑，消掉了转椅的两个轮子：

操作过程：

首先，研究者提出一个条件辐射场，其中包含新的模块化网络组件，比如在类别中的对象实例之间共享的一个分支。通过观察同一类别的多个实例，模型无需任何监督即可学习潜在部分语义，从而允许粗糙的 2D 用户涂鸦以一致的方式传播到整个 3D 区域（例如，座椅）。

接下来，研究者调查了网络组件需要更新的编辑任务，并提出了一种针对后期网络组件的混合网络更新策略，平衡了效率和准确率。在用户交互过程中，研究者又提出了一个既要满足用户的约束又要保留原始的对象结构的优化问题。

研究者演示了在三个形状数据集上进行各种编辑任务的方法，并表明它优于以往的神经编辑方法。最后，研究者编辑真实照片的外观和形状，并显示该编辑传播到推断出的新视角视图。

论文链接：https://arxiv.org/pdf/2105.06466.pdf

GitHub 地址：https://github.com/stevliu/editnerf

视频链接：https://www.youtube.com/watch?v=9qwRD4ejOpw

条件辐射场

研究者的目标是允许用户编辑 3D 场景的连续体积表征。研究者首先描述了一种新的神经网络架构，该架构可以更准确地捕获对象类的形状和外观，然后再描述如何更新网络权重以实现颜色和形状编辑效果。

为了实现这一目标，研究者基于神经辐射场（NeRF）表征法上展开构建。而 NeRF 表征法可以渲染特定场景的新视角视图，能够对整个形状类进行编辑，例如椅子。

此外，研究者学习扩展了带有潜在形状和外观向量的 NeRF 表征法的条件辐射场模型，使用属于一个类的一组形状训练了表征，其中每个形状实例由潜在的形状和外观向量表征。形状和外观的解脱使研究者能够进行修改编辑过程中的部分网络。

方法

为了将稀疏的 2D 用户涂鸦传播到新视角视图，研究者通过在多个对象实例上训练单个辐射场来学习看起来合理的对象。

研究者的架构以两种方式建立在 NeRF 上：

首先，研究者为每个实例引入形状和颜色代码，从而允许单个辐射场表征多个对象实例；

其次，研究者引入一个独立于实例的形状分支，用来学习对象类别的通用表征形式。

由于采用了模块化架构设计，因此在编辑过程中只需修改网络的少数组件即可有效地执行用户编辑。

在上图所示的方法中，研究者通过更新网络中特定的层既保证了效率性，又实现了准确性。为了减少计算量，研究者仅微调了网络中后面的层。因此，无须整个网络，只用后面的层计算梯度就可以加速优化。

实验结果

颜色编辑

下图展示了传播稀疏的 2D 用户涂鸦来填充对象区域，从而在视图之间始终呈现编辑效果的渲染实验结果。用户提供一种颜色、y 区用于域改变的前景色、用于区域保持不变的背景色。为了进行编辑，研究者优化了基于重建的损失，以鼓励模型更改前景色的颜色，但保持背景涂鸦的颜色不变。

形状编辑

下图展示了 2D 用户编辑以删除或添加对象部分，从而在视图之间一致地传播 2D 编辑的结果。为了去除形状，用户在要去除的对象区域上标记。为了进行去除，研究者同时优化了重建损失和基于密度的损失，从而鼓励模型去除涂鸦区域的密度。对于形状添加，用户选择要粘贴到实例中的对象部件。为了进行添加，优化了类似于用于颜色编辑的重建损失。