當前,我們正在加速進入數字經濟時代。根據聯合國《2019年數字經濟報告》的統計,數字經濟的規模估計佔全球生產總值的4.5%~15.5%,而中國和美國是引領世界數字經濟發展的核心。而2018年,中國數字經濟規模超過30萬億元、佔GDP比重達34.8%,已經成爲中國經濟增長的新動力。數據,正在深刻改變全社會的生產和生活。

正如同石油時代有社會化油氣基礎設施、電力時代有社會化電力基礎設施,數據作爲數字經濟的新能源,同樣也需要社會化數據基礎設施。作爲一種新的社會公用資源,數據基礎設施是涉及經濟、技術乃至社會發展的宏大命題,如何以統一標準建設全社會統一的數據基礎設施,需要各方的共同努力,當然其中也包括由華爲發起的鯤鵬計算產業聯盟。

在2019年11月19日的首屆全球數據基礎設施論壇上,中國信息通信研究院與華爲合作發佈了《數據基礎設施白皮書2019》,同時華爲面向鯤鵬計算產業啓動了數據基礎設施戰略並推出了數據虛擬化河圖引擎(HetuEngine)。河圖引擎具備“一個入口、一個目錄、一份數據、統一安全”四大核心能力。華爲同時宣佈將於2020年6月開源河圖引擎內核,方便開發者定製化開發。

華爲Cloud&AI產品與服務總裁侯金龍在首屆全球數據基礎設施論壇上表示,“大禹得河圖後始見清明”,即大禹通過河圖掌握河流山川複雜的地形地貌,順利完成治水大業,而河圖引擎的寓意則爲全社會實現治“數”大業。

數字經濟催生新數據基礎設施

(華爲Cloud&AI產品與服務總裁侯金龍)

GIV2025報告顯示,到2025年,全球將產生180ZB數據。而世界經濟論壇認爲,到2020年全球數據總量也不過44ZB,也就是說未來5年全球數據總量要翻至少4倍。5G、IoT、自動駕駛、4K/8K視頻等新技術的出現,持續推動着數據增長,相應要求強大的數據流動能力。數據已經成爲數字經濟時代的生產要素,而且是最核心的生產要素,數據甚至被認爲已經超過石油的價值。

就像石油經濟時代有“採-運-煉-儲-用”一整套完成的數據基礎設施一樣,數字經濟時代也需要面向海量數據的“採-存-算-管-用”數據基礎設施。然而,自全球開始進入數字經濟時代以來,海量數據雖然蘊含巨大的價值,也帶來了前所未有的挑戰,數據“存不下、流不動、用不好”成爲了各行業數據應用最普遍的難題。

在數據“存不下”問題方面,由於當前的存儲系統多爲傳統架構以及成本等原因,僅有不到2%的企業數據被保存。“存不下”特別表現爲存儲擴展性不足、存儲協議類型單一、存儲成本高昂。在數據“流不動”問題方面,體現在由來已久的數據孤島難題,主要是應用孤島、管理孤島和地理孤島等數據三孤島,而產生數據三孤島的根本原因在於企業在建設數據基礎設施時會選擇不同的計算資源、網絡資源和存儲資源來滿足不同訴求,相應形成了算力牆、網絡牆和介質牆等資源三堵牆。“用不好”則指的是大量數據未存儲、找不到數據、誰對數據負責等問題導致數據供應不足,無法釋放數據價值。

《數據基礎設施白皮書2019》指出,越來越多的企業已經意識到,數據基礎設施是數字經濟成功的關鍵,而數據“存不下、流不動、用不好”等問題也促成了各行業積極構建新型數據基礎設施,加速實現數據價值變現。數據基礎設施的範圍應涵蓋接入、存儲、計算、管理和數據使能五個領域,通過匯聚各方數據,提供“採-存-算-管-用”全生命週期的支撐能力,構建全方位的數據安全體系,打造開放的數據生態環境,讓數據存得了、流得動、用得好,將數據資源轉變爲數據資產。

新的數據基礎設施是傳統IT基礎設施的延伸,以數據爲中心,服務於數據,最大化數據價值。數據基礎設施包括數據存儲、數據處理、數據管理系統、數據虛擬化引擎等,具備融合、智能、開放三大特徵。

新一代數據基礎設施

侯金龍在首屆全球數據基礎設施論壇上強調,針對當前全社會面臨的數據基礎設施挑戰,華爲希望對數據的採、存、算、管、用實施端到端的整合和優化,讓數據在全生命週期內更好用,數據的每比特發揮價值最大,數據的每比特成本最優!

爲實現這個追求,華爲打造了融合、智能、開放的數據基礎設施,讓數據系統從孤立走向融合,從複雜走向智能,從封閉走向開放。而在這個過程中,首先就要建立生態聯盟,藉助全生態的力量,共建一個能夠造福整個社會的具有一致架構的公共數據基礎設施,這就是華爲推動建設鯤鵬計算產業生態的初衷。2019年9月19日華爲基於“鯤鵬+昇騰”雙引擎正式全面啓航計算戰略,宣佈開源服務器操作系統、GaussDB OLTP單機版數據庫,開放鯤鵬主板,通過硬件開放、軟件開源、使能合作伙伴,推動鯤鵬計算產業生態的發展壯大。

鯤鵬計算產業是指華爲與產業合作伙伴攜手,共同爲各行各業提供基於鯤鵬和昇騰處理器的領先IT基礎設施及行業應用,包括PC、服務器、存儲、操作系統、中間件、虛擬化、數據庫、雲服務及行業應用等。華爲作爲鯤鵬計算產業的成員,聚焦於發展鯤鵬和昇騰處理器等核心能力,通過戰略性、長週期的研發投入,吸納優秀人才和先進技術,爲產業提供綠色節能、安全可靠、極致性能的算力底座;而上下游廠商基於鯤鵬和昇騰處理器發展自有品牌的產品和解決方案,與系統軟件及行業應用廠商一起打造有競爭力的差異化解決方案。

(數據基礎設施架構圖,來源:《數據基礎設施白皮書2019》)

華爲新一代數據基礎設施以及推出河圖引擎,進一步豐富了鯤鵬計算產業的方案和技術能力。華爲數據基礎設施包括數據存儲、數據處理、數據管理系統、數據虛擬化引擎等,“融合、智能、開放”是華爲新一代數據基礎設施的重要關鍵詞。其中,“融合”指的是基於華爲在存儲、數據庫、大數據等技術領域的突破,打破“存儲內部系統牆”、“數據庫與存儲鏈路牆”、“大數據與存儲配置牆”、“數據庫與大數據協同牆”這四堵牆,讓數據融合更徹底,幫助客戶實現TCO降低30%以上、數據訪問和處理性能提升2倍、分析效率提升100%。

“智能”指的是基於AI芯片、存儲和華爲雲的三層架構,通過雲上雲下結合、雲上訓練和雲下推理,讓系統越用越快、越用越省。其中,依託昇騰處理器的AI能力,自動學習和識別IO流,提升Cache預取命中率,系統整體性能提升20%;依託鯤鵬處理器的多核算力,根據不同的數據類型,實時優化數據縮減算法,TCO降低25%;結合華爲雲自身大規模運營經驗,包括提前14天預測硬盤故障,提前60天預測性能瓶頸,提前365天預測容量不足,其中30%的故障可以自我修復等。

“開放”指的是針對找數難、取數難、用數難的問題,推出數據虛擬化引擎HetuEngine,屏蔽數據類型差異、地域差異、語法差異,讓數據治理、使用簡單。HetuEngine通過“一個入口、一個目錄、一份數據、統一安全”四大核心能力,屏蔽數據基礎設施的複雜度,讓夥伴像使用“數據庫”一樣使用“大數據”,可複用現有的生態、工具和技能,提升開發效率2到10倍。

簡單的理解,HetuEngine就是對各種數據庫和大數據存儲文件中數據的進一步抽象,“一個目錄”可實現數據全域共享、打破數據孤島,“一個接口”統一SQL接口、降低開發成本,“一份數據”讓數據零搬遷、提升時效性,“統一安全”完整保護數據、保障安全開放。HetuEngine引擎可對底層各數據中心的RDBMS、HDFS、ElasticSearch、Redis、In-Memory DB、Kafka等進行統一的數據管理和治理,而將於2020年6月上線的openHetu爲開源版的內核,即把華爲HetuEngine的能力向全社會開放擴散,進而上升爲全社會的數據基礎設施標準,相當於智能社會數據管理的“操作系統”,向上支撐智慧政務、智慧金融、智慧交通等智能社會應用。

展望2020年,馬上就要進入全球每年都要遞增一個2020全年數據總量的新常態,這對數據基礎設施的建設提出了極高的要求。《數據基礎設施白皮書2019》指出,成長中的數據基礎設施,其穩定性和先進性將深刻影響企業數字化轉型的效果和進程。進一步,每個企業的數據基礎設施也將融入一個全社會共享的數據基礎設施,因此華爲和鯤鵬計算產業生態所推進的數據基礎設施無疑將對全社會數據基礎設施標準產生深遠影響。

來源: 飛象網

關注同花順財經微信公衆號(ths518),獲取更多財經資訊

相關文章