鱼羊 发自 凹非寺
量子位 报道 | 公众号
看到这样的街角，是不是想问这是哪一部日本动画电影里的场景？
宫崎骏、新海诚的电影常常从现实场景中获取灵感，这张“日本动漫”截图同样有对应的真实空间。
但这一次，打破次元壁的却不是人类画师，而是一只名叫的GAN。
繁华街道，车水马龙，几秒即可在二次元场景中复现：
即便是西方街景，在的画笔下，也能毫无违和转化成日漫画风：
看完的作品展示，我产生了一个大胆的想法。
看，我的二次元和三次元老婆完美统一了！
风格迁移+生成对抗网络（GAN）
这项来自武汉大学和湖北工业大学的研究，采用的是神经风格迁移 + 生成对抗网络（GAN）的组合。
除了解决生成图像动画风格纹理不明显、丢失原始图像内容这样的问题，最大的特点是快。
比如上面的石原里美，在V100上跑了1.64s就完成了次元的跃迁。
那么，这个轻量级的GAN有什么样的特别之处呢？
架构
作者介绍，是基于的改进，并提出了一个更加轻量级的生成器架构。
的生成器可以视作一个对称的编码器-解码器网络，由标准卷积、深度可分离卷积、反向残差块、上采样和下采样模块组成。
为了有效减少生成器的参数数量，的网络中使用了8个连续且相同的IRB（ ）。
在生成器中，具有1×1卷积核的最后一个卷积层不使用归一化层，跟随其后的是tanh非线性激活函数。
上图中，K为内核大小，C为特征图数量，S为每个卷积层的跨度，H是特征图的高度，W是特征图的宽度，值用于设置特征图大小的插值方法，⊕表示逐元素加法。
损失函数
论文还提出了三个新的损失函数，以提升风格化的动漫视觉效果。
△不同权重的定性比较
灰度风格损失：
灰度对抗损失：
生成器网络的颜色重建损失（基于图像像元的损失）：
实验结果
与相比，可以明显看出参数更少，模型更小，计算量更少，推理速度更快，是一个相对轻量级的GAN。
细节甚至还更胜一筹。
与此前的SOTA方法相比，可以看出，生成的动漫图像中通常会存在颜色伪影区域（图中红框），生成的动漫图像中通常会存在过度风格化的区域(失去了原始照片的内容，目标纹理难以辨识），而很好地解决了这些问题。
定性分析，取得了比SOTA方法更高质量的视觉动漫效果。
目前，已经开源，数据集和预训练模型均可下载。如果你也想把自己记录的风景用宫崎骏/新海诚/今敏的风格呈现，不妨一试~
One More Thing
或许你已经猜出来了，的作者们本身也是二次元文化爱好者，出于兴趣开始了这样一个研究项目，真·「我的兴趣就是我的工作」。
论文作者，是湖北工业大学刘罡副教授，陈颉博士，和他们的学生Xin Chen。
此前，刘教授和Xin Chen还研究了一个动漫线稿自动上色模型，用户@根据他们的论文进行了复现，效果也很不错。
传送门
地址（含论文）：
作者知乎专栏：
上色项目：
— 完 —
量子位 · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
