AI畫畫越來越厲害了。

文章轉載自：建道海外設計課

ID：ArchiDogs_edu

作者：Kin

編輯：darlene7

當基本功不再是創作的門檻

幾筆線條 一個草圖

也可以呈現精美圖片

AI 人工智能

徹底釋放你的想象力

“你負責塗鴉

我負責讓它貌美如花”

01

塗鴉也能秒變大片

AI黑魔法：GauGAN

“你只管畫，我負責讓它變好看。”英偉達推出的AI黑科技GauGAN，只需“簡單加幾筆草圖”的操作，就能在軟件幫助下，生成一張華麗風景圖。即使是小朋友、手殘黨，也可以秒出逼真的風光大片了！

操作簡便

三種工具走天下: 油漆桶、鋼筆和鉛筆！

想在海上加一塊岩石？

沒問題

畫筆圈個圈

油漆桶倒個色

畫個線條

就成瀑布

軟件界面非常簡潔

誰都能快速上手

左側邊欄：三種繪圖工具、一個顏色選擇塊

底部是素材欄

有天空，樹，水等等素材

中間工作區：左邊繪圖右邊預覽

一鍵修改天氣風格

天空草地都相應變化

信手一筆

雪山呈現

有了這個軟件

這樣的大片，一天可以做個上百幅吧

運用意義

通過簡單的草圖

進行頭腦風暴設計要容易得多，

而且這種技術能夠將草圖轉換成高度逼真的圖像。

產品設計師可以在頭腦風暴的階段，

就直接產出高保真原型；

而乙方更是可以在甲方當面提需求的時候，

就給出預覽效果圖。

——NVIDIA應用深度學習研究副總裁

Bryan Catanzaro

GauGAN可以爲建築師、城市規劃者、景觀設計師、遊戲開發者、廣告設計師…等各種和圖像相關的職業在創建虛擬世界時提供強大的工具。 通過人工智能瞭解現實世界的外觀，這些專業人員可以更好地呈現想法原型並快速更改合成場景。

科利 · 沃茨用GauGAN做出超凡脫俗的設計畫面

頂級電影製片廠和視頻遊戲公司的藝術指導、概念藝術家，可利用GauGAN作爲一種工具，原型化想法，並迅速改變合成場景。

科利 · 沃茨(Colie Wertz)是一位概念藝術家和建模師，他代表作包括《星球大戰》、《變形金剛》和《復仇者聯盟》等電影。他以 GauGAN 的風景畫爲基礎，在社交媒體上分享了一個超凡脫俗的船舶設計。

NVIDIA應用深度學習研究副總裁Bryan Catanzaro將GauGAN背後的技術比作“智能畫筆”，可以填充粗略分割圖中的細節。粗略分割圖是顯示場景中物體位置的高級輪廓圖，GauGAN允許用戶繪製自己的分割圖並操縱場景，用沙子，天空，海洋或雪等標籤標記每個圖形。

有網友評論稱，如果將其應用在 3D 環境中，會讓VR 世界的遊戲開發會更便捷。

這款軟件背後的神經網絡能夠根據它對真實圖像的瞭解，填充所有的細節和紋理，以及反射，陰影和顏色。

GauGAN的出現，讓我們不需要具備專業的繪畫、設計、攝影技能就可以製造出逼真的圖像，但它畢竟只是一個幫我們將腦海中的想法實現出來的工具，而非我們大腦本身，如果我們腦海中沒有任何想法，它也無法憑空去創造任何東西。

可以預見的未來是，人們在基礎技能方面的需求正在變得不那麼重要，而對更高階的技能（比如創意力、審美力、洞察力）需求正在變得越來越高。

也有人擔心，如果有兩個人畫的草圖差不多，那是不是輸出的圖像也會很接近呢？

答案是：不會！

GauGAN 並不是對已有的照片進行簡單拼接，最終生成的圖像，每一張都是獨特的合成圖像。即便不同的用戶做出相同的設置並畫出相似的草圖，系統中也會通過內置的參數給出完全不同的圖。

背後奧祕

GauGAN 系統的創建，《空間自適應歸一化的語義圖像合成》（或稱 SPADE 項目）論文中有詳細介紹，這篇論文由 UC Berkeley, NVIDIA, MIT CSAIL 實驗室的 4 名研究人員共同寫就，已公開發布在 Arxiv 上。論文的四位作者中，有兩位是華人科學家。

劉明宇，2016 年加入 NVIDIA，現爲 Nvidia Research 首席研究科學家，他的研究重點是圖像生成和理解的生成模型。

朱儁彥，被稱爲計算機圖形學領域現代機器學習應用的開拓者，

他發表了第一篇用深度神經網絡系統地解決自然圖像合成問題的論文，

其重點科研成果 CycleGAN，不僅爲計算機圖形學等領域的研究人員所用，也成爲視覺藝術家廣泛使用的工具。

目前，他是 MIT 計算機與人工智能實驗室（CSAIL）的一名博士後研究員。

空間自適應歸一化 是什麼？

它是一個簡單但有效的層，用於在給定輸入語義佈局的情況下合成照片級的逼真圖像。論文摘要提到，以前的方法是直接將語義佈局作爲輸入提供給網絡，然後通過卷積、標準化和非線性層進行處理。

但顯然過去的做法並不是最理想的，因爲歸一化層傾向於“洗掉”語義信息。爲了解決這個問題，他們建議使用輸入佈局通過空間自適應的、學習的變換來調整歸一化層中的激活。與以前方法相比，他們的方法在視覺保真度和與輸入佈局的對齊性方面具有優勢。

 掃一掃

看完整版論文

“GauGAN”收集了超過100萬張圖片作爲數據基礎，使用深度算法讓AI進行學習，最終能夠在像素級的精度上分析圖像，分割，並生成新的圖片。“GauGAN”還擁有大量的選項，可以調整場景和元素構成，甚至還可以根據這些內容調整光照。

在 SPADE 項目中，仿射層是從語義分割映射來學習的。這類似於條件歸一化，只是學習仿射參數現在需要空間自適應，這意味着我們將對每個語義標籤使用不同程度的縮放和偏向。

使用這種簡單的方法，語義信號可以作用於所有層的輸出，不受可能丟失此類信息的規範化進程的影響。此外，因爲語義信息是通過 SPADE 中的層提供，所以隨機潛在向量可以作爲網絡的輸入，其可以用於操縱所生成圖像的樣式。

02

“時間藝術”系統

MIT CSAIL：timecraft

再來看另一款AI軟件，MIT CSAIL 麻省理工學院計算機科學與人工智能實驗室研究小組開發了一款名爲timecraft （時間藝術）的系統。

“時間藝術”系統可以採集著名畫家如塞尚、梵高已經完成的畫作，分析出這些名畫是如何被創造出來的，由此產生的延時視頻展現了AI驚人的洞察力。

據悉，爲了開發這個時間藝術系統，MIT CSAIL 研究小組利用了現有的200多個數字和水彩畫的延時視頻。然後，他們將人工智能生成的延時視頻與藝術家拍攝的實時延時視頻進行比較，測試這項技術。 通過在線調查和參與者的幫助下，他們發現在90% 的情況下，timecraft 生成了一個比現有系統更真實的延時視頻。多虧了研究人員和這項技術，我們現在可以體驗著名的藝術作品是如何誕生的。

Reference：

https://github.com/nvlabs/spade/

https://mp.weixin.qq.com/s/HIueMLuFwZVqbJ8fV20rTw

https://www.nvidia.com/en-us/research/ai-playground/

http://nvidia-research-mingyuliu.com/gaugan/

https://www.designboom.com/technology/mit-csail-ai-how-artists-created-their-famous-paintings-06-20-2020/

https://arxiv.org/pdf/2001.01026.pdf