上萬款抖音特效是如何生產出來的?

7月28日,抖音聯合火山引擎在北京舉辦智能特效技術開放日。火山引擎相關特效技術專家分享了抖音特效背後的算法技術和工程能力。

火山引擎認爲,在算法技術上,抖音特效主要使用了計算機視覺(CV)和計算機圖形學(CG)技術。但僅有這些技術還是不夠的,還需要有完善的工程能力,只有把工程做好,才能夠把相應的技術落地、產生價值。

火山引擎在抖音特效上的工程能力主要體現爲四個方面。

其一是模塊化組件。抖音特效用了100多種CV算法,但在實踐中,火山引擎的企業客戶可能並不需要全部的算法,而是隻需要一部分能力。基於此,火山引擎在工程上提供了模塊化組件,定義了標準化的接口與模塊設計,提供給客戶可定製的方案。

其二是適配和兼容。用戶不僅僅需要豎屏的屏幕,還有很多用戶需要橫屏。火山引擎通過工程化的支持,現在已經適配豎屏、橫屏,也可以適配不同的分辨率以及長寬高比例。

其三是資源下發。火山引擎非常瞭解客戶對體積優化的訴求,所以很多素材、資源、算法模型,都可以下發更新。在減少包體積的同時,也讓客戶可以快速響應需求。

其四是穩定性。火山引擎在工程上可以做到非常低的崩潰率,抖音特效在接口層面的崩潰率現在低於十萬分之一,正在向一百萬分之一努力,而且已經非常接近了。

火山引擎之所以能夠做到以上四點是因爲還有一個堅實的AI算法底層工程。

在算法的研發過程種,一樣也離不開各種工程的支持。從一個算法的訓練,到算法的優化,最後到算法能夠在一些設備上高效率的運行,火山引擎都有成熟的平臺框架,來支撐做這些事情。

有了這些AI基礎能力,AI算法就不僅僅是某個團隊的獨門祕笈,每一個團隊都可以把AI算法看作是一個解決問題的可選方案。抖音特效在內部使用過的訓練平臺、優化工具,還有高效率的執行框架,目前都在陸續通過火山引擎向企業用戶開放。

火山引擎在服務客戶的過程中,也已經形成一個特效服務體系。比如在瞭解到客戶真正需要哪些能力之後,火山引擎會派出專業的工程師團隊和客戶對接,幫助他去定製解決方案,並幫助解決在對接接入、上線之後遇到的各種問題。

在分享抖音特效背後的技術之外,火山引擎相關負責人也表示,作爲字節跳動的技術服務平臺,火山引擎不僅支持了抖音、今日頭條等公司內部產品,也在向外部企業開放,爲客戶提供特效創作工具套件、定製算法、工程化部署和對接聯調等產品及服務。此外,火山引擎資源商城提供了上萬款抖音同款特效,企業可以根據熱度、類型等方式選擇使用。

相關文章