谷歌的storyboard（故事板）生成技術
hi，大家好~我是shadow，一枚設計師/全棧工程師/算法研究員，目前主要研究方向是人工智能寫作和人工智能設計，當然偶爾也會跨界到人工智能藝術及其他各種AI產品。 這是我發在《 人工智能Mix 》的一篇論文閱讀筆記。
文末了解《人工智能Mix》
來自Google Research的論文：
Graphic Narrative with Interactive Stylization Design
storyboard（故事板）是一系列圖像組成的面板，表示將依次執行的動作序列，例如在電影、動畫或舞臺上。 故事板最早在1930年代由迪斯尼工作室發明。 自從電影時代以來，電影就一直依賴這種方法來講述故事。 現在，故事板被廣泛應用於說明、總結和預先形象化各種動態內容，包括電視節目、電影、戲劇、小說、甚至軟件使用說明。 故事板以簡潔和通俗的方式表示動態內容，在許多方面與漫畫相似。
主要的區別在於故事板主要關注的是行爲和目的，而漫畫則關注的是以娛樂爲目的的對話（泡泡）。
作者描述了一個系統來將任何圖像集（如視頻剪輯或相冊）轉換爲故事板。 系統的目標是以交互式的方式完成內容創作，這樣用戶就可以探索並找到最適合他們需求和口味的故事板（挑選比如圖像、佈局和風格這些細節）。
- 處理流程
這項工作由3道主要工序構成，每一道都是一個挑戰：
如何從圖像集中挑選合適的圖片，然後將它們放入故事版的版面中，並應用風格濾鏡。
完整的處理工序如下所示，5個步驟，Input處理用戶的輸入、Frame Selection自動挑選圖片、Layout預測合適的佈局、Framing根據佈局裁切圖片、Stylization應用風格化濾鏡。
- 佈局
關於佈局，使用模板的方式，預定義大量的模板，通過匹配的方式來計算合適的版面，如下圖：
- 填充
有了佈局，需要爲每個佈局小方塊填充圖片，這時候需要找出每張圖片的焦點，按照比例進行切割、縮放，如下圖所示：
- 風格濾鏡
對於風格濾鏡，作者提出了一個交互式的設計工具來創建使用組合各種風格濾鏡（滑動條、模塊按鈕）。 這種方法通過允許用戶調整、修改和直觀地設計新的 風格濾鏡序列（此處敲黑板，劃重點） 來釋放創造力。
這是一個計算機思維方式pipeline（後續詳解），應用組合好的風格濾鏡，可以看到每一步的變化，組合還有無數種，最後的效果也是富有變化的：
提供這種手工設計方式的同時，作者提出了一種新的程序化方法，該方法可以自動組合風格模塊序列以獲得創新的結果。 （有手動的模式，自然就可以讓機器學習組合規模，從而自動化完成）
以上爲全文， 原文發表於《 人工智能Mix+》知識星球 。
《人工智能Mix+》
每天更新至少一篇筆記 ，
目前正在優惠期間，
僅需10元 ，
歡迎加入。
近期熱門推薦：
