AI画画越来越厉害了。

文章转载自：建道海外设计课

ID：ArchiDogs_edu

作者：Kin

编辑：darlene7

当基本功不再是创作的门槛

几笔线条 一个草图

也可以呈现精美图片

AI 人工智能

彻底释放你的想象力

“你负责涂鸦

我负责让它貌美如花”

01

涂鸦也能秒变大片

AI黑魔法：GauGAN

“你只管画，我负责让它变好看。”英伟达推出的AI黑科技GauGAN，只需“简单加几笔草图”的操作，就能在软件帮助下，生成一张华丽风景图。即使是小朋友、手残党，也可以秒出逼真的风光大片了！

操作简便

三种工具走天下: 油漆桶、钢笔和铅笔！

想在海上加一块岩石？

没问题

画笔圈个圈

油漆桶倒个色

画个线条

就成瀑布

软件界面非常简洁

谁都能快速上手

左侧边栏：三种绘图工具、一个颜色选择块

底部是素材栏

有天空，树，水等等素材

中间工作区：左边绘图右边预览

一键修改天气风格

天空草地都相应变化

信手一笔

雪山呈现

有了这个软件

这样的大片，一天可以做个上百幅吧

运用意义

通过简单的草图

进行头脑风暴设计要容易得多，

而且这种技术能够将草图转换成高度逼真的图像。

产品设计师可以在头脑风暴的阶段，

就直接产出高保真原型；

而乙方更是可以在甲方当面提需求的时候，

就给出预览效果图。

——NVIDIA应用深度学习研究副总裁

Bryan Catanzaro

GauGAN可以为建筑师、城市规划者、景观设计师、游戏开发者、广告设计师…等各种和图像相关的职业在创建虚拟世界时提供强大的工具。 通过人工智能了解现实世界的外观，这些专业人员可以更好地呈现想法原型并快速更改合成场景。

科利 · 沃茨用GauGAN做出超凡脱俗的设计画面

顶级电影制片厂和视频游戏公司的艺术指导、概念艺术家，可利用GauGAN作为一种工具，原型化想法，并迅速改变合成场景。

科利 · 沃茨(Colie Wertz)是一位概念艺术家和建模师，他代表作包括《星球大战》、《变形金刚》和《复仇者联盟》等电影。他以 GauGAN 的风景画为基础，在社交媒体上分享了一个超凡脱俗的船舶设计。

NVIDIA应用深度学习研究副总裁Bryan Catanzaro将GauGAN背后的技术比作“智能画笔”，可以填充粗略分割图中的细节。粗略分割图是显示场景中物体位置的高级轮廓图，GauGAN允许用户绘制自己的分割图并操纵场景，用沙子，天空，海洋或雪等标签标记每个图形。

有网友评论称，如果将其应用在 3D 环境中，会让VR 世界的游戏开发会更便捷。

这款软件背后的神经网络能够根据它对真实图像的了解，填充所有的细节和纹理，以及反射，阴影和颜色。

GauGAN的出现，让我们不需要具备专业的绘画、设计、摄影技能就可以制造出逼真的图像，但它毕竟只是一个帮我们将脑海中的想法实现出来的工具，而非我们大脑本身，如果我们脑海中没有任何想法，它也无法凭空去创造任何东西。

可以预见的未来是，人们在基础技能方面的需求正在变得不那么重要，而对更高阶的技能（比如创意力、审美力、洞察力）需求正在变得越来越高。

也有人担心，如果有两个人画的草图差不多，那是不是输出的图像也会很接近呢？

答案是：不会！

GauGAN 并不是对已有的照片进行简单拼接，最终生成的图像，每一张都是独特的合成图像。即便不同的用户做出相同的设置并画出相似的草图，系统中也会通过内置的参数给出完全不同的图。

背后奥秘

GauGAN 系统的创建，《空间自适应归一化的语义图像合成》（或称 SPADE 项目）论文中有详细介绍，这篇论文由 UC Berkeley, NVIDIA, MIT CSAIL 实验室的 4 名研究人员共同写就，已公开发布在 Arxiv 上。论文的四位作者中，有两位是华人科学家。

刘明宇，2016 年加入 NVIDIA，现为 Nvidia Research 首席研究科学家，他的研究重点是图像生成和理解的生成模型。

朱俊彦，被称为计算机图形学领域现代机器学习应用的开拓者，

他发表了第一篇用深度神经网络系统地解决自然图像合成问题的论文，

其重点科研成果 CycleGAN，不仅为计算机图形学等领域的研究人员所用，也成为视觉艺术家广泛使用的工具。

目前，他是 MIT 计算机与人工智能实验室（CSAIL）的一名博士后研究员。

空间自适应归一化 是什么？

它是一个简单但有效的层，用于在给定输入语义布局的情况下合成照片级的逼真图像。论文摘要提到，以前的方法是直接将语义布局作为输入提供给网络，然后通过卷积、标准化和非线性层进行处理。

但显然过去的做法并不是最理想的，因为归一化层倾向于“洗掉”语义信息。为了解决这个问题，他们建议使用输入布局通过空间自适应的、学习的变换来调整归一化层中的激活。与以前方法相比，他们的方法在视觉保真度和与输入布局的对齐性方面具有优势。

 扫一扫

看完整版论文

“GauGAN”收集了超过100万张图片作为数据基础，使用深度算法让AI进行学习，最终能够在像素级的精度上分析图像，分割，并生成新的图片。“GauGAN”还拥有大量的选项，可以调整场景和元素构成，甚至还可以根据这些内容调整光照。

在 SPADE 项目中，仿射层是从语义分割映射来学习的。这类似于条件归一化，只是学习仿射参数现在需要空间自适应，这意味着我们将对每个语义标签使用不同程度的缩放和偏向。

使用这种简单的方法，语义信号可以作用于所有层的输出，不受可能丢失此类信息的规范化进程的影响。此外，因为语义信息是通过 SPADE 中的层提供，所以随机潜在向量可以作为网络的输入，其可以用于操纵所生成图像的样式。

02

“时间艺术”系统

MIT CSAIL：timecraft

再来看另一款AI软件，MIT CSAIL 麻省理工学院计算机科学与人工智能实验室研究小组开发了一款名为timecraft （时间艺术）的系统。

“时间艺术”系统可以采集著名画家如塞尚、梵高已经完成的画作，分析出这些名画是如何被创造出来的，由此产生的延时视频展现了AI惊人的洞察力。

据悉，为了开发这个时间艺术系统，MIT CSAIL 研究小组利用了现有的200多个数字和水彩画的延时视频。然后，他们将人工智能生成的延时视频与艺术家拍摄的实时延时视频进行比较，测试这项技术。 通过在线调查和参与者的帮助下，他们发现在90% 的情况下，timecraft 生成了一个比现有系统更真实的延时视频。多亏了研究人员和这项技术，我们现在可以体验著名的艺术作品是如何诞生的。

Reference：

https://github.com/nvlabs/spade/

https://mp.weixin.qq.com/s/HIueMLuFwZVqbJ8fV20rTw

https://www.nvidia.com/en-us/research/ai-playground/

http://nvidia-research-mingyuliu.com/gaugan/

https://www.designboom.com/technology/mit-csail-ai-how-artists-created-their-famous-paintings-06-20-2020/

https://arxiv.org/pdf/2001.01026.pdf