原標題:張國榮生前最後一場演唱會視頻修復重映,騰訊多媒體實驗室詳解幕後技術 

4月1日晚間,騰訊將在視頻號和騰訊視頻共同播出張國榮2000年《熱.情》演唱會的超清修復版,這是張國榮生前舉辦的最後一場演唱會。記者 | 崔鵬

環球音樂旗下的寶麗金唱片公司爲騰訊提供了原版演唱會母帶,騰訊雲、微信、視頻號和騰訊視頻參與了本次修復和播出工作,其中爲視頻做修復的是騰訊多媒體實驗室,隸屬於CSIG(雲與智慧產業事業羣)。

1號當天,騰訊多媒體實驗室相關負責人接受了界面新聞等媒體的採訪,介紹本次修復工作背後的技術和故事。

多媒體實驗室總監李松南介紹稱,團隊日常的工作內容主要有兩方面:參與國際國內多媒體(音視頻)相關的標準制定;把平時積累的技術提供給其它部門,比如騰訊視頻雲、媒體AI中臺和數據萬象都會用到它們的技術。

今年初,在一個偶然機會下,多媒體實驗室與環球音樂旗下的寶麗金唱片進行接觸,瞭解到對方擁有張國榮一場演唱會的母帶,而每年4月1日文化娛樂業內都會有紀念張國榮的活動,雙方都覺得這裏有合作機會,就達成了相關意向。

3月初多媒體實驗室團隊拿到母帶,開始正式做修復工作。其中純算法跑通大概只用了2天,所以在修復工作中,單純的算法修復環節耗時並不長。

但實驗室希望儘量保留演唱會的藝術風格,所以嘗試了不同算法和效果,希望能取得比較好的平衡。

目前,對於膠片產品的修復主要有物理修復和數字修復兩種,而數字修復也有人工修復和全自動修復兩種方式。騰訊多媒體實驗室做的是全自動的基於機器學習和深度學習的修復,通過比較少的人力介入,減少後續人工修復的成本。

李松南告訴界面新聞等媒體,“我們的目標是做自動化的修復,算法比較通用,不需要針對性的去做優化”,讓這套修復算法能夠適配更多類似場景。

圖片來源:騰訊

李松南向界面新聞等媒體介紹稱,修復流程從算法角度來說主要分爲四步:

首先是智能分析模塊。主要用來分析視頻的質量,包括失幀的類型和程度,人臉的位置等。

其次是修復模塊。主要用於修復視頻中的各種失幀,比如老片中常出現的噪聲、隔行失幀,然後對清晰度低的片段進行超分。

第三是增強模塊。主要是讓圖像本身的內容更清晰,更豐富。

第四是編碼模塊。在儘量低碼率的情況下還原視頻內容,因爲在直播和點播過程中,對碼率有一定要求。

張國榮這場演唱會的時長是兩小時,傳統人工修復大概需要一兩個月時間,但是用純算法修復大概兩天就能跑出結果。剩下的時間,團隊都在儘量還原演唱會的藝術表達效果。

在這方面,演唱會視頻的修復與傳統電影電視劇作品的修復有很大區別。

多媒體實驗室此前爲騰訊視頻的《康熙王朝》等電視劇做過修復,影視劇作品的場景比較固定,人物運動和畫面色彩風格都比較統一。

演唱會涉及不同色彩的燈光切換,畫面鏡頭多角度切換,針對同一個人物的遠近景和大小臉切換。實驗室在此前的修復工作中很少遇到這種複雜的場景,其中尤以動態的人臉修復問題比較棘手。

現在行業內主流的人臉修復大部分是基於單張照片進行,在視頻修復上會遇到很多問題,比如臉的角度和姿態不一樣,在算法裏的解決方式也不同。

另一個干擾項來自於燈光因素,演唱會現場的燈光顏色多變,打到人臉上就會出現很多算法難以處理的問題。

“我們做人臉修復時有個很大的臉特寫,那會正好燈光是紅色,打到張國榮臉上的時候,臉的顏色就跟正常不同,所以修復的時候人臉模型和修復結果需要專門做優化。”

多媒體實驗室2013年剛開始做視頻處理時,主要基於傳統算法做一些視頻降噪和背景增強,後來團隊的很多模型依靠AI和深度學習方式在騰訊雲上進行,最開始基於卷積神經網絡,現在擴展至使用生成網絡來進行。

從視頻修復對比來看,寶麗金給的母帶分辨率非常低,大概只有720×480分辨率,做完修復以後騰訊將其做到了接近4K的分辨率,分辨率大概提升了6倍。

目前,對於老舊影視劇和演唱會作品的修復,業內並沒有統一的標準。也就是說,具體修復到什麼程度,舞臺氛圍修復到什麼樣子纔算還原,有沒有達到“舊”的效果,比較依賴主觀判斷,每個人的看法都會不同。

從結果來看,寶麗金公司對修復的效果滿意,也表達了後續針對別的IP進行合作的訴求。

相關文章