看點： 浪潮AI服務器創18項紀錄！較上代性能提升3倍，獲2020MLPerf訓練推理雙料冠軍。
智東西10月26日報道，在最近公佈的全球“最嚴格”AI基準測試MLPerf成績榜單中，浪潮憑藉自研的AI服務器NF5488A5打破了18項推理性能紀錄，成爲打破紀錄最多的AI服務器，成功問鼎AI“機王”。在焦點賽道ResNet50基準性能測試中，NF5488A5以54.9萬/秒的推理性能問鼎，相比2019年榜單服務器全球最好成績性能提升高達3倍。
▲浪潮NF5488A5創造18項MLPerf推理性能紀錄 此前，MLPerf訓練榜單于今年7月公佈，NF5488A5僅用時33.37分鐘就完成了ResNet50模型基於ImageNet 數據集的訓練任務，單機性能高居榜首。自此，浪潮AI服務器NF5488A5在今年的MLPerf基準測試中取得了訓練、推理雙料冠軍 。 浪潮技術負責人對智東西說：“NF5488A5如此高倍的性能的提升要取決於硬件和軟件兩個層面。而對於技術的整體升級來說，如果想要把硬件性能完全發揮出來，不是說單顆芯片好就夠了，這對於整個服務器來說是一個系統優化的工程。”
被視爲全球最權威的AI軟硬件基準測試MLPerf到底是一個怎樣的存在？浪潮在MLPerf中擠進“破紀錄冠軍”行列有何意義？浪潮又是如何從Intel、NVIDIA、DELLEMC等大佬雲集的參賽隊伍中脫穎而出的？ 浪潮是如何“突出重圍”在MLPerf中問鼎AI“機王”的？智東西與此次浪潮參與MLPerf項目的技術負責人進行了深入對話，解構出浪潮AI服務器飛速“成長”背後的故事。
打破18項推理性能紀錄， 新一代AI服務器成最大焦點 在“扒開結果看過程”之前，我們首先需要知道：MLPerf是什麼？MLPerf的冠軍，到底厲害在哪？
當前，AI的應用日益複雜化、多樣化，一方面，AI芯片、系統廠商紛紛給出不同的標準，以證實其產品在計算性能、單位能耗力等方面處於行業領先水平；同時，用戶更關心的則是如何能從廠商給出的信息中判斷出AI算力是否能實際滿足其真實場景的需求。 因此，2018年5月全球AI基準測試組織MLPerf推出了MLPerf基準測試。MLPerf基準測試是業內首套衡量機器學習軟硬件性能的通用基準 ，即測試深層神經網絡在不同量級的設備（物聯網、智能手機、PC、服務器）、各種應用（自動駕駛、NLP、計算機）上的計算性能。 MLPerf由圖靈獎得主大衛·帕特森（David Patterson）於2018年聯合企業及高校成立。MLPerf基準聯盟現有 50 多家成員，包括谷歌、微軟、Facebook、阿里巴巴、浪潮等企業，以及斯坦福、哈佛等高校。本次參賽團隊共計 23 家，包含 Intel、NVIDIA、DELLEMC、Lenovo、QCT（廣達）、Fujitsu、Gigabyte（技嘉）等。目前業內最具權威性的AI基準測試非MLPerf莫屬。 MLPerf基準測試分爲封閉模型分區（Closed Model Division）和開放模型分區（Open ModelDivision）： 封閉模型： 要求使用相同模型和優化器，並限制超參數的值等，衡量的是同一深度學習模型及對應的訓練/推理過程在不同軟硬件上的性能,考察的是軟硬件系統優化的能力。開放模型： 放開了對深度學習模型及精度的約束，只限制使用相同的數據解決相同的問題，模型或平臺都不會限制，側重於深度學習模型及算法優化的能力，旨在推進ML模型和優化的創新。今年的MLPerf基準測試包括四大場景類別，分別針對：數據中心、邊緣端、移動端和notebook端。其中，浪潮最新自研AI服務器NF5488A5打破了18項紀錄，成爲榜單中打破紀錄最多的AI服務器。
▲各服務器廠商的數據對比圖表（藍色爲浪潮NF5488A5數據） 在數據中心場景下的16項基準測試性能指標中：對於封閉模型測試任務分區，浪潮打破了11項整機性能紀錄 ，NVIDIA打破4項紀錄（2項與浪潮並列）、QCT打破3項紀錄；開放模型分區的6項測試中，浪潮打破2項紀錄 ，NVIDIA打破1項紀錄。 在邊緣端基準測試中：對弈封閉模型測試分區，NVIDIA打破14項紀錄，浪潮打破3項紀錄 ；開放模型分區的4項測試中，浪潮打破2項紀錄 ，DELL打破1項紀錄。
▲浪潮NF5488A5在數據中心和邊緣端場景基準測試打破性能紀錄次數 在此次基準測試中，浪潮AI服務器NF5488A5在開放優化(Open)和固定任務(Closed)的ResNet50基準性能測試中，均表現優異。在焦點賽道ResNet50基準性能測試中，NF5488A5表現出了54.9萬/秒的推理性能，相比2019年MLPerf推理榜單的全球最好成績性能提升高達3倍。
▲MLPerf ResNet50推理性能2019 VS 2020對比 在短短一年的時間內，如此高倍的性能提升令人驚歎，而更讓人爲之稱奇的是，NF5488A5已經量產，並非僅作爲高端產品參與測試。 1年時間，18項紀錄，3倍性能提升， 這些數字不止支撐着浪潮新一代AI服務器在MLPerf中問鼎AI“機王”，也代表着浪潮AI服務器在技術積累上的充足底氣。
是單個軟硬件的性能PK，也是整機系統優化的性能考驗 NF5488A5是浪潮在MLPerf中大展光彩的“功臣”。 NF5488A5單機訓練性能可達5 PetaOPS ，相比浪潮上一代服務器計算性能提升234% 。在最新公佈的 MLPerf推理測試榜單中，浪潮NF5488A5問鼎 AI 推理基準測試 18項紀錄，全面覆蓋圖像分類、目標檢測、自然語言理解、智能推薦等場景。其中在ResNet50模型推理任務處理達到每秒處理54.9萬多張圖片的推理性能；Bert 自然語言理解推理任務達 26675 條/秒；DLRM 智能推薦每秒推理處理能力達 210 萬條。 在7月 MLPerf公佈的訓練測試榜單中，NF5488A5僅用時33.37分鐘，就在包含 128 萬張圖片的 ImageNet數據集上完成ResNet50模型的訓練，相當於每秒訓練 23000多張圖片，單機計算性能高居第一，可謂是最快人工智能訓練服務器。 NF5488A5是此次MLPerf全球競賽中唯一可以在4U空間內支持8塊安培架構A100芯片實現NVLink高速互聯的AI服務器。 浪潮NF5488A5在系統拓撲上採用了超低延遲設計，支持PCIe 4.0全鏈路極致優化，高頻通信單元採用一級拓撲最近連接，最大限度提升處理器到AI芯片間的通信性能。 同時，通過配置NUMA節點，確保每顆處理器與其直連的GPU之間通信性能最優，最大限度降低通信延遲。此外，NF5488A5通過深度優化系統結構設計，確保設備可在高環溫下穩定運行。 在用戶體驗方面 ，用戶會在穩定性和性能 兩方面體會到浪潮最新一代AI服務器的不同。即使在35攝氏度的環溫下，NF5488A5也能穩定高性能的運行。NF5488A5是一款通用服務器，可以支持各類流行的AI應用場景，如計算機視覺、語音識別、智能客服等。
系統優化是核心競爭力 早在今年4月，浪潮首席科學家王恩東提出了“智算中心”的概念，並表明圍繞智算中心打造AI算力生產、聚合、調度、釋放的四大關鍵作業模式。
▲浪潮首席科學家王恩東提出“智算中心”
結語：AI服務器落地兩步走 浪潮NF5488A5 AI服務器一舉打破 18 項 MLperf 推理性能紀錄，展示出我國自主服務器頭部玩家在AI這條路上越走越寬、越走越穩。 在浪潮看來，AI算力的多元化支持將會是AI服務器發展的一個主要趨勢。AI產業目前正處於落地階段，首先要將AI算法賦能到用戶的實際業務場景中，隨後通過軟硬件協同優化持續提升用戶的AI應用性能。 從浪潮在 MLperf 中的表現來看，浪潮已在產業AI化中佔據了有利位置，我們也期待浪潮與其他玩家一起加速推進產業AI化進程。 （本文系****•網易號特色內容激勵計劃簽約賬號【智東西】原創內容，未經賬號授權，禁止隨意轉載。）
