讲堂 | 童欣:深度学习和人工智能,如何改变图形的生成与创作( 三 )
视频1:用户输入细节草图控制网络不断细化形状的演示 , 请扫码观看
这个 demo 展示了画海星的过程 。 我们希望整个过程是一个与用户完全交互的过程 。 我们不仅把这个系统教给一些没有绘画经验的用户使用 , 同时我们也请了来自北京电影学院动画学院的学生 , 这些具有一定造型经验的专业用户 , 来使用 。 图5的这些结果 , 是一些比较专业的用户在大概半小时左右的学习 , 掌握系统之后 , 通过绘制草图所创作出来的各种各样的三维形状 , 大家可以看到既有很简单的形状 , 也有很漂亮复杂的形状 。 我们希望这样的系统能够很大程度地减轻用户创作大量三维形状、制作概念设计时的负担 。
文章插图
图5:专业用户的作品
第二个工作是我们怎么帮助用户快速生成更加真实的材质贴图的 。 如果大家对游戏图形创作有一些经验的话就知道 , 很多时候我们想让一个东西很接近现实 , 除了三维形状之外 , 我们还要给它一个很真实的材质贴图 , 比如木头或者铁 , 来决定这个物体在不同的光照下的颜色明暗和反光 , 使它看起来和真实的一样 。
以前艺术家是在真实的世界中拍一张图 , 然后把这张图放到 Photoshop 里 , 再通过大量的操作来生成它的反射贴图、几何细节、纹理贴图等等 , 最后交给游戏去使用 。 我们希望通过我们的研究 , 用户只需拿一个手机出去 , 拍几张图片 , 系统就可以全自动生成逼真的物体效果 。 如果用户拍一张照片 , 系统可以生成一个非常相似的材质;如果用户拍了很多张 , 并且从各个方面仔细地拍摄的话 , 系统的生成结果质量就会越高 , 越接近于想要的真实世界的材质 。 同时 , 我们还希望算法能够支持任意的分辨率 , 因为通常用户都希望分辨率越高越好 , 那么不管是一张小图还是大图 , 送到算法里 , 都希望它能够生成很好的结果出来 。
文章插图
图6:材质贴图图片生成
为了做这件事情 , 我们结合了深度神经网络技术以及传统的反向绘制优化技术 , 来实现这个优化的过程 。 基本想法是这样的:首先挑出一张图 , 结合深度学习网络 , 预测一个初步的材质结果 。 这个初步的结果可能看起来还行 , 但是不太好 , 没关系 。 随后我们把它送到一个编码器里 , 通过优化中间这个编码 , 使得输出材质绘制结果和原来输入的这张图进行对比差别最小 。 如果有多张图 , 我们希望输出的这个材质能够和所有的多张拍摄的图片都一样 , 那么就可以认为这个材质很合适了 。 基本上是这样一个过程 , 整个过程是全自动的 , 不需要用户任何的手工或者输入 。
文章插图
图7:深度逆绘制技术的应用过程
图8展示了一个结果 。 这是在我们的办公室里拍的一张贺卡的材质 , 它表面有一些金属的部分 , 也有一些纸的部分 , 同时还有一些凸凹 。 我们大概拿手机拍了20张左右的图 , 我比较了最上面 , 叫做 ground truth 的部分 , 就是我们的真实贺卡样本、在光照下的结果 。 如果我只拍一张 , 大家看到 , 实际上大部分的结果还是对的 , 但里面的反光就看着不是太好;如果拍20张左右之后 , 所产生出来的材质的这个反光 , 还有所有的细节 , 基本上就和输入图像的真实材质没有什么差别了 。 这个办法实际上是一个非常好的办法 。 即使在时间不允许、条件不允许的情况下 , 用户只拍了一张 , 那这个结果也已经基本可用了 。 你拍多张以后 , 可以保证这个结果就是你想要的 , 这就避免了使用专业设备去拍摄很多的东西 。
文章插图
- 无需入耳的蓝牙,南卡骨传导蓝牙耳机深度体验
- 如何在 Ubuntu 上安装深度(Deepin)桌面环境
- 深度学习入门之第五章:经典卷积神经网络
- 乌托邦风味的优美协奏曲,天魁路西法耳机多图深度体评测
- 详解深度学习感知机原理
- 高颜值 高性价比旗舰 富士X-T3深度体验
- 惊艳!阿里出品“Java全栈进阶宝典”,广度与深度齐头并进
- 限量3000!OPPO Find X2联动LOL开启深度定制
- 会员|上海交大安泰经管学院:新零售时代,多触点深度分析客户才有机会赢
- 深度揭秘!华强北2000块的iPhone 11竟然是组装机