原標題:看得遠、記得牢,中國天眼的數據是怎樣存儲的

天文研究是典型的大數據場景,數據存儲不僅需要讓中國天眼“裝得下”數據,更要成爲全球科學家天文大數據研究的加速引擎。

如果開啓“天眼”,可以看到怎樣神奇的畫面?

由中國科學院國家天文臺李迪教授和王培博士領導的國際研究小組在《自然》雜誌最新的一篇論文顯示,FAST累計發現1652次快速射電暴,超過以往文獻記載數量總和。從2011年3月25日“中國天眼”開工建設再到2020年通過國家驗收,投入正式運行。這不僅僅是天文科學的進步,也是建設數字基礎架構的標誌性事件。那麼,它海量的數據是怎麼存儲的?

中國天眼結緣浪潮存儲

中國科學院國家天文臺FAST數據中心組組長黃夢林經歷了數據中心從無到有。

她告訴第一財經,2005年前後,FAST先跟當地的大學合作建了早期科學數據中心,“那時候的技術肯定沒有現在這麼發達,建一個2PB的集羣得擺三個機櫃”。等到FAST在2016年建成,再被稱作數據中心的現場,其實是集裝箱,帶有實驗的性質。“真正開始考慮數據中心要做大規模的時候,是在2019年試運行”。

天眼蒐集的數據可是大得驚人,每秒採集的數據量最多可達38G,每年新增數據量達到10PB,靈活、可彈性擴展的數據基礎設施成爲中國天眼的剛需,首先要解決的就是存儲問題。

“一個是容量要大,因爲我們機房面積有限,所以需要高密度存儲。而且需要穩定性,因爲我們的數據量大,要是異地備份需要的成本就更高。我們現在存數據,希望它的穩定性非常好,非常高,保證我們只有一份數據但是也不會丟。” 黃夢林說。

在建設自己的數據中心之前,FAST還曾經租用過別人的機房。但是解決問題的響應速度不好跟上,而且成本也在水漲船高。“我們也要考慮硬件和軟件的結合和以後的服務、運維方面,是一家公司協調起來更簡單,可能工作起來效率會更高,就是這樣。” 黃夢林說。也正是基於這樣的考慮,FAST項目開始招標建立自己的數據中心

“我們看到用戶在使用的時候,剛開始這麼大的一個集羣,也是面臨一種新的場景,總歸是會有需要,問題的解決處理,這個時候本土化的廠商是非常重要的。”浪潮信息首席架構師葉毓睿介紹,FAST的數據是非結構化數據,對存儲的考驗很大,一方面是存儲的擴展性,另一方面,當數據到達一定量的時候,運維管理的挑戰也會凸現出來,“管理人員還是有限的,但那麼多的存儲怎麼樣更好地管理,我們有一些相應的手段”。

“裝得下”也要“用得好”

天文研究是典型的大數據場景,數據存儲不僅需要讓中國天眼“裝得下”數據,更要成爲全球科學家天文大數據研究的加速引擎,讓科學家們“用得好”。

黃夢林介紹,接收下來的數據都會經過預處理,這是個自動的流程。對於進一步的數據處理,根據天文研究項目負責人的意願來決定,如果項目負責人有需要,數據中心也可以提供處理。如果不做要求,FAST就直接提供觀測數據。

爲了滿足這些需求,浪潮存儲以高性能節點提升天文大數據存儲、處理和分析的效率,以高密度節點“海納”天文級數據,基於智能IO均衡、智能資源調度、智能元數據管理等軟件棧算法讓百萬級IO均衡落盤且路徑更短,從而實現數據在不同層級存儲之間能夠根據天文業務需求實現數據自由流動。

具體來說,浪潮存儲基於超大規模分佈式存儲平臺,在一個存儲平臺內部署高性能和高密度兩種節點,提供53PB容量、100G聚合帶寬和AIOps智能管理,爲中國天眼FAST的IT基礎設施建設提供了支撐,完成了計算性能超兩千萬億次/秒、帶寬達100GB/秒,冷熱數據分層存儲可以容量達53PB的自有數據中心平臺建設。中國天眼採用了60餘臺高密度節點AS13000G5-M60,單節點容量接近一個PB,節省了數據中心物理空間,運營成本節省了65%。

要想用得好,前路亦有挑戰。以AI爲例,數據的採集、模型的訓練、應用的推理還有長期的存檔讓整個存儲行業都在面臨挑戰:數據吞吐能力,也就是每秒的操作數要求很高,存儲介質也有變化,甚至有可能利用內存的池化去應對更高的存儲需求。這導致整個IT的基礎架構都在根據場景的需求不斷衍生、迭代。

“在分佈式存儲裏其實還有很多可探索的空間,像天眼是我們看到的其中一種。”葉毓睿說,隨着需求增長,需要有更多的算力, “其實就是朝着一切皆計算機的方向去發展”。

相關文章