C114訊 11月10日消息（林想）本週，以“象由芯生·科技服務人民”爲主題的2020紫光展銳市場峯會重磅開啓，廣大生態合作伙伴共聚一堂，共話數字世界新未來。

在今天舉辦的“多媒體技術研討會”上，來自紫光展銳產業鏈的合作伙伴將分享有關多媒體發展趨勢、圖像優化，手機拍照、AI與多媒體技術融合方面的最新技術及應用。

智能影像，從“芯”開始

亞里士多德將人體的感官分爲5種，即觸覺、嗅覺、味覺、聽覺和視覺。人類感知世界人類感知世界80%以上來自視覺。隨着技術的不斷發展，相機可以還原人眼，記錄更多的場景。

隨着手機終端的不斷演進，在影響功能變得日漸強大，手機拍照已經成爲人們記錄生活的最佳方式之一。在手機拍照方面，ISP（圖像信號處理器）是拍照顏值擔當、CPU、GPU是性能擔當、NPU是智慧擔當，Modem則是外交擔當。

“ISP性能會直接影響到手機拍照、攝像水準。”紫光展銳先進多媒體實驗室主任趙磊表示，移動端設備從本世紀初開始逐漸興起，其拍照功能也是愈發完善。 在 2010 年後，手機拍照迎來了技術發展的一次爆發。在這一過程中，智能手機強大的硬件爲手機中內置的ISP系統提供了巨大支持。

但ISP並不是萬能的，AI技術的迅猛發展給相機帶來了新的機遇，於是人工智能被廣泛應用到智能影像。從目前來看，AI引入到智能影響可以分爲三個階段：

階段一，圖像理解->高層視覺（high level vision），對圖像分析得到場景的語義表示，具有人眼和人腦的能力；階段二，圖像分析->中層視覺（middle level vision），對圖像的內容進行分析，提取有意義的特徵，便於後續更高層的處理；階段三：圖像處理->低層視覺（low level vision），對輸入的圖像做某種變換，輸出仍然是圖像，基本不涉及或者很少涉及圖像內容的分析。

現在圖像處理技術已經全面AI化了。那麼手機上又將如何用AI呢？

對此，趙磊指出，藉助CPU/NPU/DSP/GPU的計算能力，ISP芯片告別裸奔走向組合模式。據悉，紫光展銳推出的UNISOC T7520芯片組，在降低功耗的同時實現了優化的5G體驗，而且通過大幅增強的AI計算和多媒體成像處理能力，大幅提升用戶的手機拍照體驗。

硬件+強大算法成就超凡影像

數據顯示，2014-2019年全球平均每部手機攝像頭數量逐年增長，2019年的手機機型裏面高攝頭大部分都已經大於3。多攝給手機用戶提供了很多酷炫的拍照功能，比如說景深虛化以及前攝的自拍，同時還有超廣角、超微距、這都是手機廠商重點宣傳的功能。

“Bokeh可以實現單反大光圈效果，非焦點部分產生模糊的美學質量。”紫光展銳遊瑞榮表示，手機實現Bokeh有單攝、多攝、深度相機三種解決方案。目前的Bokeh解決方案在深度計算和虛化算法存在難點。爲此，紫光展銳加入硬件特性和AI來提升整個算法效果。

遊瑞榮指出，與競品相比，紫光展銳虎賁T618在Bokeh算法方面，AI加速性能更優，功耗也更低。未來的發展一定是AI芯片算力能力越來越強，同時結合硬件的性能，讓整個系統發揮更大的作用，更好地提升拍照質量。

“暗光對手機成像帶來極大挑戰，增大傳感器尺寸，延長曝光時間、外加光源和更換color filter並不能完全解決這一痛點。”紫光展銳王微指出，在去噪算法方面，傳統與AI方式各有利弊。AI去噪幾乎不需要調參，能較好的兼顧噪聲去除與細節保留，覆蓋場景廣，能較好的應對複雜場景，但對手機性能要求高，效果不可控。

王微強調，要想真正提升暗光拍照的成像質量，需要不錯的硬件加上強大的算法，以AI ISP軟硬協同設計，AI端側計算能力支持爲基礎，才能成就世界領先的拍照成像質量。

爲了承載不斷增長的手機攝像技術和生態產品發展需求，多媒體開發平臺必須具備高像素拍照能力、高幀率視頻能力，單幀處理能力、降噪和融合這些基礎能力。作爲數據的提供方，多媒體開發平臺還需要有數據提供能力，以便於後續的算法包括AI的AR、VR等等算法在這個平臺上進行二次開發。

據紫光展銳孫長鬥介紹，目前，紫光展銳平臺在靠性、可擴展性，接口標準化方面多下功夫，以實現多產品、多生態支持能力，目前已實現8種人像光效、10倍變焦、360度環視和手勢控制，並已應用到在各個場景中。

多種視頻解碼和顯示，打造極致視覺體現

除了打造高質量影像之外，如何提升用戶視覺體驗，紫光展銳引入了多種視頻解碼和顯示技術，HDR技術就是其中之一，它可以極大的提升動態範圍和色域，帶來極其震撼的主觀體驗。

通過攝像頭來採集真實世界的畫面，再經過後期的處理，最後還要經過視頻的編碼，通過網絡的傳輸或者存儲器的攜帶，放到我們終端顯示器上面去，通過終端顯示的解碼再成像出來。羅小偉指出，這裏面的採集以及編碼都會帶來信息的損失。

紫光展銳羅小偉指出，評價一個視頻或者圖像的好壞其實有很多的維度，比如分辨率、幀率、動態範圍、顏色範圍等，HDR 視頻就是從這幾個維度提高視頻質量，所以HDR視頻必須要遵循一些規範。

SMPTE提出了三個標準，分別對EOTF曲線和靜態元數據、動態元數據進行了定義；ITU-T對於UNDTV系統以及HDR的技術中使用的色域進行了定義，對HDR對HDR電視分發系統的性能做出了規定；CTA對 HDR 顯示設備的最低標準做了限制：包含至少一個HDR信號接口，能夠接受並處理 HDR 靜態元數據，在顯示圖像之前能夠使用合適的EOTF曲線對媒體文件進行處理。

羅小偉指出，紫光展銳開發的顯示增強技術，通過運用色域轉換、色調映射和動態對比度增強技術，將高動態、高位深和廣色域的HDR視頻轉換成適合在SDR屏幕上播放的畫面。在SDR屏幕上充分還原HDR視頻精美的畫面質量和絢麗的色彩表現。

據悉，紫光展銳支持多種視頻的解碼和顯示，展銳新一代SoC虎賁T7520支持目前應用廣泛的HLG和HDR10/10+等格式，給用戶帶來HDR視頻的極致視覺體驗。

智能音頻無限未來，展銳之聲與你共鳴

除了視覺之外，智能音頻的需求也日趨高漲。

紫光展銳葉順舟指出，目前，ANC主動降噪普及度遠遠沒有達到業界預期，爲了讓ANC飛入尋常百姓家，紫光展銳在芯片集成前饋A（z）、反饋C（z）係數自適應算法，穩定性高，擁有核心專利；產線校準開啓自適應模式，得到單體最優係數，提高一致性容忍度，良率提升，成本降低，下游客戶與消費者獲利。

紫光展銳的ANC自適應校準流程，整個過程與設備儀表配合，一鍵完成，無需人爲參與；濾波器收斂可靠時間15~30s，步驟2、3實驗可簡化，過程更高效；針對不同場景的降噪需求，可在測試環境中播放不同的場景噪聲，得到各場景下的最優係數並存儲。

在ANC行業缺陷改進探索方面，紫光展銳三方發力：風噪爆破音前饋通道引入，通過耳內/外麥克信號統計特性進行風噪檢測，控制前饋增益；咀嚼爆破音反饋通道引入，通過耳內/外麥克信號強度進行自體振動檢測，控制反饋增益；底噪增大ADC通道主要貢獻，提高ADC量化精度，提高SNR（伴隨功耗提升），增加安靜模式檢測，控制ADC增益。

ANC解決自己聽的問題，ENC則解決對方聽的問題。據葉順舟介紹，紫光展銳ENC技術自適應beamforming定向拾音技術，三級降噪設計，對不同噪聲分類處理，解決mic數量、尺寸限制下的指向性問題。在指向性可針對應用需求在+/-30度範圍內調整；支持1.5-3cm麥克間距設計；並單獨針對風噪統計特性，設計了基於雙麥的風噪抑制算法。

此外，葉順舟強調，目前ENC融合新技術呈現四大發展趨勢值得關注：Beamforming存在mic間距要求，適用於杆式耳機，豆式結構難以應用，其次強風噪，極低SNR下性能有限；AI降噪在單麥產品有廣泛的應用前景，對如風噪的特定噪聲處理效果理想，但NN模型的小資源需求（100KB以內）與其泛化性能存在矛盾；耳內三麥與ANC系統完全複用麥克，解決強風噪與配戴角度問題，但信號融合帶來的不自然感丞待解決，且依賴入耳式設計；骨傳導與耳內三麥原理類似，信號更穩定，可應用於半入耳式設計，缺點是成本過高，且同樣面臨信號整合問題。

相關文章