讲堂 | 童欣：深度学习和人工智能，如何改变图形的生成与创作( 三 ) 编者按：9月25日

视频1：用户输入细节草图控制网络不断细化形状的演示，请扫码观看
这个 demo 展示了画海星的过程。我们希望整个过程是一个与用户完全交互的过程。我们不仅把这个系统教给一些没有绘画经验的用户使用，同时我们也请了来自北京电影学院动画学院的学生，这些具有一定造型经验的专业用户，来使用。图5的这些结果，是一些比较专业的用户在大概半小时左右的学习，掌握系统之后，通过绘制草图所创作出来的各种各样的三维形状，大家可以看到既有很简单的形状，也有很漂亮复杂的形状。我们希望这样的系统能够很大程度地减轻用户创作大量三维形状、制作概念设计时的负担。
文章插图
图5：专业用户的作品
第二个工作是我们怎么帮助用户快速生成更加真实的材质贴图的。如果大家对游戏图形创作有一些经验的话就知道，很多时候我们想让一个东西很接近现实，除了三维形状之外，我们还要给它一个很真实的材质贴图，比如木头或者铁，来决定这个物体在不同的光照下的颜色明暗和反光，使它看起来和真实的一样。
以前艺术家是在真实的世界中拍一张图，然后把这张图放到 Photoshop 里，再通过大量的操作来生成它的反射贴图、几何细节、纹理贴图等等，最后交给游戏去使用。我们希望通过我们的研究，用户只需拿一个手机出去，拍几张图片，系统就可以全自动生成逼真的物体效果。如果用户拍一张照片，系统可以生成一个非常相似的材质；如果用户拍了很多张，并且从各个方面仔细地拍摄的话，系统的生成结果质量就会越高，越接近于想要的真实世界的材质。同时，我们还希望算法能够支持任意的分辨率，因为通常用户都希望分辨率越高越好，那么不管是一张小图还是大图，送到算法里，都希望它能够生成很好的结果出来。
文章插图
图6：材质贴图图片生成
为了做这件事情，我们结合了深度神经网络技术以及传统的反向绘制优化技术，来实现这个优化的过程。基本想法是这样的：首先挑出一张图，结合深度学习网络，预测一个初步的材质结果。这个初步的结果可能看起来还行，但是不太好，没关系。随后我们把它送到一个编码器里，通过优化中间这个编码，使得输出材质绘制结果和原来输入的这张图进行对比差别最小。如果有多张图，我们希望输出的这个材质能够和所有的多张拍摄的图片都一样，那么就可以认为这个材质很合适了。基本上是这样一个过程，整个过程是全自动的，不需要用户任何的手工或者输入。
文章插图
图7：深度逆绘制技术的应用过程
图8展示了一个结果。这是在我们的办公室里拍的一张贺卡的材质，它表面有一些金属的部分，也有一些纸的部分，同时还有一些凸凹。我们大概拿手机拍了20张左右的图，我比较了最上面，叫做 ground truth 的部分，就是我们的真实贺卡样本、在光照下的结果。如果我只拍一张，大家看到，实际上大部分的结果还是对的，但里面的反光就看着不是太好；如果拍20张左右之后，所产生出来的材质的这个反光，还有所有的细节，基本上就和输入图像的真实材质没有什么差别了。这个办法实际上是一个非常好的办法。即使在时间不允许、条件不允许的情况下，用户只拍了一张，那这个结果也已经基本可用了。你拍多张以后，可以保证这个结果就是你想要的，这就避免了使用专业设备去拍摄很多的东西。
文章插图