原標題:解析丨牽手郎朗推出VR音樂作品,華爲VR音視頻技術牛在哪?

4月15日,華爲在上海舉辦了“身臨其境,看見美好”VR音樂媒體品鑑會。郎朗首部VR音樂作品正式上線華爲視頻VR專區和華爲VR視頻。除了郎朗的三部作品,華爲VR音樂平臺還通過與更多獨立音樂人、樂隊的合作引入高質量的VR音視頻內容。官方透露,平臺首發陣容將達到24部作品。

溝通會當天,陀螺君受邀來到現場。親身體驗了目前已經上線華爲VR視頻的八部作品,並對華爲VR音視頻生態平臺提供的端到端VR技術解決方案有了深入瞭解,也充分理解了拍攝強沉浸感VR音樂會背後所需要的科技硬實力。

此外,陀螺君還深度對話華爲消費者業務雲服務副總裁譚東暉、華爲VR音視頻平臺總監Xinxin。透過他們的分享,瞭解到關於華爲VR音視頻一站式生態服務在前端播放能力、視頻點播VOD服務、音樂開發工具及VR內容的製作與發行等更多方面的技術沉澱及實用價值。

VR音視頻,華爲篤定的5G時代新應用

5G技術的快速發展,使得千行百業有了一個具備創新基礎的技術平臺。5G技術在中國商業化落地的兩年時間裏,其發展速度遠超想象。

同樣是這個時間節點,3G技術部署後的一年時間裏,全球商用網絡只有9個,3G站點數僅有2萬個,用戶數32萬;4G技術時代略強。相較之下,5G技術正式部署的第一年裏,全球5G商用網絡數已經超過110多個,站點數80萬個,用戶數超過2億。

這背後,在於人們對超大帶寬應用、超低延時應用以及海量聯接式應用的龐大需求。譚東暉表示:“在超大寬帶應用需求下,華爲意識到VR/AR、超高清視頻和無線傳影等新科技融合5G商用將催生出第一波改變人們生活、辦公和娛樂方式的產業。”

華爲消費者業務雲服務副總裁譚東暉

也就是說,華爲相信VR音視頻將成爲5G技術普及下的第一波深度影響用戶行爲的產業。那麼,爲何會如此篤定呢?

業界的技術成熟度曲線認爲,一項技術需要經過萌芽期、炒作巔峯期、低谷期、平穩發展期以及成熟期。2018年以後,VR技術被從這條曲線上移除,這意味着其發展狀態已開始趨於成熟;而看結果,2020年,全球VR頭戴式顯示器的出貨量達到670萬臺,相比於2019年增長了72%,幾乎翻番。

譚東暉認爲,技術的不斷成熟與其VR設備出貨量的不斷增長,足夠證明VR技術已經跨越了低谷期,進入到規模應用成熟期,這意味着VR已經開始接近我們的生活,VR產業的未來充滿無限想象。

與此同時,人們對於在線服務及影音的需求也在大幅增長。2020年,人們通過移動設備觀看在線視頻的時長增長40%,在音樂領域,全球流媒體收入佔增長19.9%,成爲全球錄製音樂產業中唯一的收入增長來源。

“人們對於音樂的需求,將不再僅限於如今的便攜性和豐富性,將很快向着更創新的用戶體驗和更優質的創作內容提出更多要求。希望在線上,就能夠體驗到過去在線下音樂會纔有的幾倍或者十幾倍的臨場感。”

華爲終端雲服務已經爲全球7億多消費者提供全場景、高品質的數字服務。這樣的背景之下,正因看到這樣的用戶需求,本着以消費者爲中心,打造軟硬件雙輪驅動的全場景智慧生態(1+8+N和HMS)理念,正式上線了華爲VR音視頻平臺。

13K拍攝、空間音頻,華爲VR音視頻方案如何做到低成本高質量?

華爲VR音視頻平臺是華爲終端雲服務推出的全新內容平臺,其作用是在全球範圍內連接音樂人、音樂創作者,令用戶隨時隨地能夠體驗到由超高清畫質、空間音頻等技術支撐的優質VR音視頻內容。

用戶可以通過VR Glass頭顯或者華爲手機體驗華爲視頻VR專區中的所有內容。而支撐該平臺的是一整套內容製作解決方案。

華爲VR音視頻平臺涵蓋了前期製作、後期合成、編解碼適配和上架發行平臺四個標準流程,其方案涉及前端播放能力、視頻點播VOD服務、音樂開發工具及VR內容的製作與發行各階段,實現了端到端一體化全覆蓋。

整體來看,該方案優勢可以大致分成三類:

1、超高清畫質呈現

顧名思義,VR的音視頻體驗最主要的就是內容視覺和聽覺上的感受。提到視覺部分,很多人對於VR的第一印象是不夠清晰、紗窗效應嚴重。成像質量方面,在對比度高的高光區域成像,是多數拍攝設備所遇到的老大難問題。

在VR裏面的成像和傳統意義上的影視內容拍攝不同。人眼在沉浸式數字環境下會追求更加接近人眼的成像效果,這種高要求很多平面視頻拍攝設備都難以企及,而VR需要考慮的是360度範圍內的畫面質量輸出,無疑難度更大。

在上圖中,左側和右側分別放置的是華爲VR音視頻內容製作解決方案中錄製設備在高對比度和暗光環境下的拍攝效果。可以看到,其對於曝光、噪點處理的相對柔和自然,衣衫之上花紋的呈現細節豐富。

Xinxin認爲,無論是1080P、4K還是8K分辨率,其實這只是視頻成像質量衡量中的一個維度,它並不是全部。一個視頻的好與壞,固然跟尺寸有一定的關聯,但更重要的是像素的質量、銳度,包括色彩範圍以及幀率,這些是會深深影響視頻觀看質量的關鍵技術點。

“從這兩張圖可以看出,華爲對於VR視頻成像的理解,並非傳統意義上的僅是尺寸上的優勢,而是基於對VR類影像的採集和回放技術的深刻理解。”

2、3D空間音樂效果

目前的VR內容(尤其視頻)體驗裏面,有時候會有提及一些跟3D聲音有關的描述,但並未對此有更爲深入的研究和認知。

將雙手比作聲源,當用戶戴上耳機的時候,傳統的立體聲音效是從耳機兩側進行發聲。用戶在轉動頭部的時候,音源被固定在頭顱兩側,這證明傳統聲音模擬並不包含聲音的空間信息和它的三維空間的位置信息。

所謂實時3D現場聲音,即3D空間音樂效果可以還原聲音的方位信息、聲場信息和環境信息,可以把不同的相位音源同時在算法中進行處理並提供給用戶。這與5.1、7.1影音設備不同,除了設備體積差距外,因爲配備數量有限,這類設備無法模擬真正意義上360度音效,且成本及操作難度都遠高於前者。

在上圖中,是華爲VR音視頻內容製作解決方案現場錄製時的聲道圖解。設備將現場聲音全部解析成了單獨的通道,提供給用戶去聽,而傳統的立體聲只有雙聲道概念。舉個例子,現場歌手的聲音會由其本人、樂器、音響設備等發出,因此至少有四路聲音被記錄和採集的,這在傳統方案中只能是揉在一起。

華爲VR有專屬的編解碼音頻信號解析的標準,與市面上的無損和標準編解碼信號相對比,前者音頻信號的解析在網絡帶寬的壓力下並沒有損失音質(上訪的點狀物數量區分)。這是因爲華爲增強層編解碼信號允許在體積更小的情況下,傳遞跟原始無損信號更一致的音頻音質給到用戶。

3、VR編輯工具

華爲VR音視頻內容製作軟件可以實現原有錄製文件的整合、打包和輸出。整個文件打包的流程非常傻瓜,其基於傳統行業的錄音師和後期音視頻製作的流程,可實現時間線編輯、素材管理方式、動畫記錄方式等聲音的軌跡和畫面的特性一同在該軟件裏完成編輯。

此外,導出的完成版文件可以被華爲VR音視頻平臺所識別,並實現自動上傳和雲端全球分發。

據介紹,華爲VR音視頻內容製作軟件相較業內大幅降低了VR音視頻內容製作的成本。一部作品的製作成本可以壓到同行業內的1/10,並保證其視聽質量達到最佳。

通常的製作成本是指人力成本和現場部分(場地、燈光、舞美、錄迴音等)素材採集方面的成本。華爲的拍攝設備及後期製作工具引入自動化操作方案,極大程度節省了人力成本和現場操作的成本。

Xinxin稱,通常情況下華爲的一部作品只需幾個小時就可以完成拍攝。對比傳統的作品錄製流程,華爲VR音視頻採集系統的展開和收集效率更高。此外,後期階段裏,華爲將優勢項的音頻處理能力和視頻處理能力工具化,這樣就省去了以前分散在多個工具端處理完後再縫合到一起的過程,這會減少內容的生產成本和時間。

未來,華爲將運用通訊業起家的編解碼標準制定優勢,更加大力推動VR音視頻工具的標準化。並基於類似音樂Party模式(允許多臺華爲手機拼合實現類似多點採集收音的效果)等功能,進一步降低VR音視頻內容的錄製階段硬件成本。

實測:空間級感官拔升,這次真不是純堆技術

會議之後,陀螺君實際體驗了華爲VR視頻中現已上線的8款VR音視頻內容。下面我以兩款極具代表性的內容實際體驗爲例,來分享下對於所謂華爲VR音視頻黑科技的切實感受。

1、《茉莉花》(郎朗)

第一次體驗,是朗朗的鋼琴曲獨奏茉莉花。這部作品採用類似沙龍演奏的形式,很多觀賞者圍坐在郎朗及鋼琴周圍。美妙的琴聲呼之欲出,而身爲觀賞者裏的一員,陀螺君則恰好坐在郎朗的正側面,屬於黃金觀賞位。

這部作品的背景,模擬了類似漆黑環境聚光燈下的畫面效果。郎朗和衆人在燈光之下,與漆黑深邃的背景區分開來。值得一提的是,陀螺君可以清楚地看到光照下每位觀賞者的毛孔,郎朗戴着的手套上的纖維和鋼琴背光板折射出的倒影。

在這種極度考驗設備處理曝光環境拍攝能力的環境下,陀螺君看到的不是一片漆黑或者慘白一片,而是在燈光照應下,人們的背影和細枝末節的微表情。而工作人員告訴陀螺君,雖說觀賞細膩度已經非常震撼,但其實原片分辨率可以達到13K*9K,而目前的影片只是達到了4K級別。可以想象,如果真有頭顯可以原生支持13K的片源,那會是一番更加難忘的體驗,並且該片源也支持適應未來3-5年的發展。

2、《BeatBox Show》(啊鑫)

如果說郎朗給我的第一印象是視覺爆炸,那這段B-BOX就是真正的聽覺爆炸。視頻開始,啊鑫隨即開始自己的表演。我面對着啊鑫,距離只有一拳之隔。隨着嘴脣的抖動,一陣陣爆炸似的聲波傳入陀螺君的耳膜,從聲音來分辨,即使是閉着眼睛甚至腦海裏都可以精確浮現處他在發聲時的嘴型。

而這,還不是最有趣的。

因爲現場是坐在一把類似蛋椅的旋轉座椅中。因此,陀螺君下意識扭轉身體,頭部便跟着向左側旋轉。此時我不再正對啊鑫,而是左耳正對的側身方式。陀螺君明顯感覺到音場強度的變化,就好像真的在視頻內容中轉了個身一樣。與之類似的,左轉、右轉音源變化感知最爲明顯,抬頭、低頭則可以感受到聲音輕微發悶。

這就是所謂華爲3D空間音效,實際體驗後陀螺君發現——其實它實現的就是一句話:讓用戶走進內容。正如Xinxin所說,沉浸式體驗是令用戶走進內容的最佳方式。

而據透露,華爲已經在VR光場拍攝技術方面研究多年,並會隨着用戶羣體的增加,考慮將最新的交互模式(比如語音識別、彈幕交互、眼球追蹤等)加入其中。現在,還只是視聽維度更上一層樓。也許不久的將來,我們真的可以走到郎朗面前,請他喝杯茉莉花茶;亦或是擺個炫酷的姿勢,和對面啊鑫來一場battle(即6DOF交互)。

總結

究竟什麼纔是適合中國VR消費級市場的產品?

Xinxin說:“VR產業發展,從來缺的不是技術的更替和成熟,而是真正能夠將新技術帶入舊領域,催生新用戶的人。在VR音視頻這塊,我們願意投身其中,因爲有調研後實實在在的用戶需求、有華爲的技術優勢作爲支撐,那何樂而不爲呢?”

未來,華爲VR音視頻內容製作解決方案或將對外開放,這意味着未來任何一個普通人、up主或者作曲人,都有機會成爲VR音視頻作品的締造者。譚東暉稱,以用戶爲導向,不斷創新、發展和探索正是一直以來華爲發展的願景。我們希望華爲VR音視頻平臺可以開個好頭,並隨着用戶羣體的重視度增加,逐漸進行外擴。

相關文章