告別AV畫質:實時把動畫變成4k高清,延時僅3毫秒,登上GitHub趨勢榜
磐創AI分享
磐創AI分享
來源 | 量子位(QbitAI)
編輯 | 栗子、發自、凹非寺
看動畫 (特別是裏番) 的時候,總會覺得畫質不夠好,就算已經有1080p,還是會感到不夠清晰。
所以,這個世界十分需要一套拯救分辨率的魔法。
如今,有個名叫的 Anime4K 開源算法,能在動畫播放中, 實時 把畫面變成 4k ,延時低至 3毫秒 。
能把720p/1080p變成2160p,也能把480p變成1080p。
團隊說,這是 當下最強 (State-of-the-Art) 的動畫實時超分辨率方法,可以拿任何編程語言實現。
現在,項目已經在GitHub摘下 3700 多顆星,並一度登上了趨勢榜。
那麼,這個算法究竟是如何造福人類的?
只搞動畫
團隊在論文裏感慨道:
傳統超分辨率算法 (如Bicubic) ,結果不怎麼好,因爲它們根本不是爲了動畫而生的。
傳統的去模糊 (Unblurring) 或銳化 (Sharpening) 方式,在靠近物體邊緣的時候會發生 過沖 (Overshoot) ,分散觀衆注意力,降低圖像的感知質量 (Perceptual Quality) 。
而機器學習方法 (如waifu2x) 又太慢,完全不能實時 (<30毫秒) ,尤其是需要超高清的時候。
△ waifu2x
而Anime4K, 只處理動畫就夠了,不考慮其他視頻類型 。這一點很重要。
動畫沒有真實視頻那麼多紋理 (Textures) ,基本都是用平直着色法 (Flat Shading) 處理的物體和線條。
只要畫質變好一點點,觀衆也看得出。所以團隊機智地想到,不用做整張的畫質提升,專注於 細化邊緣 就可以了,紋理之類的細節不重要。
具體怎樣做,要從超分辨率的原理開始講:
首先,一張圖可以分爲兩部分:
一是 低頻分量,就是一張模糊的低分辨率圖。
二是 高頻殘差,代表兩種分辨率之間的差別 (Difference) 。
輸入一張 低清圖 ,把它變成一個 更低清 的版本,就能得出一個 殘差 。
把殘差 變薄 (Thin) 、 銳化 (Sharpen) ,再加到低清圖上,就能得到一張高清圖。
但殘差稍稍有點錯誤,就會造成 振鈴 和 過沖 ,影響效果。這也是前輩的缺陷所在。
於是,團隊找到了一種新方法:
首先把 殘差厚度最小化 當做目標,這個沒有問題。
但直接把隨意變換(Arbitrarily Transformed)得到的殘差,用到一張低清圖上是不行的。低清圖要做出相應改變,才能與殘差和平相處,得出理想的超分辨率結果。
所以,當輸入一張圖和它的殘差之後,“push”殘差的像素,讓殘差線變細;
同時,每做一個push,都要在彩色的低清圖上,執行一個相同的操作。
這樣,既能把模糊最小化,也不會出現振鈴和過沖,這兩個降低畫質的現象。
比一比吧
這場比賽,Anime4K (最右) 的對手有:來自madVR的不開源算法 NGU 前輩 (左二) ,以及開源的機器學習算法 waifu2x 前輩 (左三) 。
第一題,眼睛:
第二題,耳朵:
第三題,玉手:
第四題,全臉:
waifu2x前輩的效果,明顯不及Anime4K,常見虛影。速度也有明顯缺陷,每張圖耗時超過1秒。
NGU前輩生成的畫質,與Anime4K相近,但也常常被Anime4K打敗。
不止如此,NGU每張耗時~6毫秒,Anime4K只要~3毫秒,快了一倍,更加適應 實時生成 的需求了。
效果相近的話,爲啥不直接用NGU?因爲不開源。
如果,你覺得720p/1080p的動畫,沒必要變成4K這麼奢侈,那還可以把 480p 拯救到1080p啊:
依然,Anime4K和沒開源的NGU不相上下。
最後,儘管已經獲得了精湛的畫質提升技能,團隊也沒有就此拋棄 機器學習 的力量。
因爲在 拯救靜止畫作 (而非動畫) 的時候,Anime4K的短板顯現了。這時候,讓機器學習選手waifu2x和它並肩作戰,更加成功一些:
需要 實時 提升分辨率,還是用Anime4K吧。
反正也已經開源了:
項目傳送門:
https://github.com/bloc97/Anime4K
論文傳送門:
https://github.com/bloc97/Anime4K/blob/master/Preprint.md
- End -
PyTorch 自然語言處理實戰課程開課啦。
課程內容包括:聊天機器人,文本分類,文本生成,機器翻譯。手把手帶你實現課程中的項目,贈送完整課程講義和項目代碼。
掃碼立即領取磐創AIer50元優惠券
:point_down::point_down::point_down:
✄------------------------------------------------
看到這裏,說明你喜歡這篇文章,請點擊「 在看 」或順手「 轉發 」「 點贊 」。
歡迎微信搜索「 panchuangxx 」,添加小編 磐小小仙 微信,每日朋友圈更新一篇高質量推文(無廣告),爲您提供更多精彩內容。
▼ ▼ 掃描二維碼添加小編 ▼ ▼