论文阅读:Rewriting a Deep Generative Model

论文链接:Rewriting a Deep Generative Model 0.摘要 关于GAN等生成网络是如何编码规则和更改规则的,目前尚不清楚。该文章提出一个新的思想:操纵已编码的深度生成模型规则。 论文提出了一些公式来操作深层网络的线性联想记忆(LAM),从而实现操纵规则目的。 论文做了三个工作: – 提出算法。提出了一种修改关联记忆的算法,并证明了可行。 – 提供用户界面。使用户能够交互使用模型。 – 结果对比。在论文方法和其他方法之间进行结果对比。结果显示论文方法具有优势。 1.介绍 我们对模型进行了重写,其目的是添加,删除和更改预训练的深度网络的语义和物理规则。当前的图片编辑工具能够实现对单个输入图像的操作,但是我们的方法能够通过编辑生成模型中的规则来合成无数的新图像。 例如在图1中,我们应用一系列规则更改来编辑一个预先训练在LSUN教堂场景上的StyleGANv2模型。第一个改变去除水印文本模式(a);第二种增加了建筑物前的人群(b);第三个规则用绘制树梢的规则代替了绘制塔顶的规则(c)。创造了一个从塔上长出树木的神奇场景。因为每一次改变都改变了生成模型,每一次改变都构建了一个完整的图像类别,去掉了模型的所有水印,将人安排在多种建筑前,在塔顶创建树木。所示的图像是来自无穷分布的样本。 图1:重写生成器的权重以更改生成规则。 可以将规则更改为:(a)删除水印等图案;(b)加入诸如人等对象;或(c)更换定义,例如使树木从塔中长出来。我们的方法无需编辑单个图像,而是编辑生成器,因此可以使用更改后的规则合成和处理一组无限的图像。

Read More