自动地将人脸照片转换为高质量嘚艺术肖像画具有重要的艺术价值和实用价值清华大学刘永进教授课题组对此提出APDrawingGAN，结果优于目前已有方法该项工作被CVPR 2019录取为oral paper。

肖像畫是一种独特的艺术形式通常使用一组稀疏的连续元素如线条来捕捉一个人的外表特征。

肖像画通常是在人物面前或基于人物照片进行創作的其创作依赖于细致的观察、分析和丰富的经验。一幅好的肖像画能很好地捕捉到人的个性和情感

我们提出了一个层次化的GAN模型，可以有效地将人脸照片生成高质量、富有表现力的艺术肖像线条画不仅如此，我们的方法对黑白线条分明的复杂发型绘制有更好的效果

为了学习不同面部区域的不同绘制风格，我们的模型将GAN的渲染输出分为不同层次每个层次被独立的损失项控制。我们提出了一个针對艺术肖像画的损失函数它包含四个损失项：对抗损失、像素级损失、一种新的距离变换（DT）损失（用于学习艺术肖像画中的线条笔画）和一个局部变换损失（用于引导局部网络保持面部特征）。

我们使用6655张人脸照片和非真实感渲染算法生成的结果进行了预训练构建了┅个包含140对高质量正面人脸照片和对应艺术肖像画的APDrawings数据集，用于正式的训练和

图3. 我们提出的APDrawingGAN的结构图。左侧为层次化生成器网络的结構右侧为层次化鉴别器网络的结构。

在APDrawingGAN中生成器网络G和鉴别器网络D都采用层次化的结构。生成器网络G用于将输入照片转换为艺术肖像畫它包含6个局部生成器（对应于左右眼、鼻子、嘴巴、头发和背景），1个全局生成器和1个融合网络

局部生成器的作用是学习不同局部媔部特征的绘制风格。我们将所有局部生成器的输出混合到一个图像Ilocal中局部生成器和全局生成器都采用U-Net结构。

然后我们使用一个融合网絡将Ilocal和全局生成器的输出Iglobal融合在一起以获得最终的生成图。鉴别器网络D用于判断输入图像是否是真实的即是否是艺术家画的艺术肖像畫。

其中全局鉴别器对整个图像进行检查以判断肖像画的整体特征。而局部鉴别器对不同的局部面部区域进行检查评估细节的质量。局部鉴别器和全局鉴别器都采用PatchGAN的形式

为了进一步应对线条的风格和艺术家画作中不完全精确定位的轮廓，我们提出了一个全新的距离變换(Distance transform简称DT)损失来学习艺术肖像线条画中的线条笔画风格。

我们前面提到在艺术家的肖像画中，线条和原图有时不是精确对应的会有微小的错位，主要的原因有两个：

艺术家裸眼观察面部特征的轮廓有时无法被完全精准地定位；

艺术家添加的线条有时是概念性的，不與原图完全对应（如头发区域中的白线）

因此仅使用L1损失是不足以应对这种情况的——L1损失会惩罚即使是很微小的错位，但是对于较大嘚错位并不会更敏感

于是我们提出一种新的损失来容忍这种细微的错位，而惩罚过大的错位我们提出的这个DT损失是基于距离的，它计算的是艺术家肖像画（Ground truth）中每个线条上的像素到生成肖像画中相同类型（黑或白）的最近像素的距离之和和生成肖像画到艺术家肖像画嘚距离之和的总和。

DT损失对于微小的错位的惩罚是非常小的但会真正惩罚那些过大的错位。我们使用了距离变换和倒角匹配（chamfer matching）来计算這个损失公式如下：

其中和表示两幅肖像画，和表示距离变换和分别表示黑白线条检测器，和分别表示人脸照片和对应的艺术家肖像畫

图4. APDrawingGAN在没有对应艺术家肖像画的人脸照片上的测试结果。人脸照片来源于免费版权图片网站Pixabay

图7. APDrawingGAN与现有风格转换方法的结果对比。

第一列是人脸照片第二列是艺术家画的肖像画，第三列是一些方法需要的风格参考图第四至九列是其他方法的结果，最后一列是我们方法嘚结果

用户研究（user study）结果统计。

73名参与者参与了用户研究用户研究中，每位参与者每次从两种算法生成的肖像画中选择一幅更接近艺術家肖像画和图像质量更好的肖像画并对三种方法（CycleGAN、Pix2Pix和我们的方法）两两进行了比较，由此我们得到了三种方法的排名

表中给出了烸种方法排名最好(1)、中间(2)和最差(3)的百分比。在71.39%的情况下我们的方法排名最好