HPC高性能計算知識: 基礎知識科普

Hardy 架構師技術聯盟

在過去15年的時間裏，HPC一直是增長最快的IT市場之一，其增長速度有時超過了在線遊戲、平板的年增長率。

HPC高性能計算市場空間有多大？

在2016年的全年，我們報告說，HPC服務器市場的全球工廠收入從2015年的107億美元上升到創紀錄的112億美元，比2003年的57億美元增長了近兩倍(其他市場分析，請參看“[解讀] Intersect360分析預測: 由AI和Cloud驅動，未來HPC市場達439億”)，研究預測，HPC服務器市場將在2021年增長到148億美元，而整個HPC生態系統的市場在那一年將會超過300億美元的市場。

什麼是高性能計算，涉及哪些技術和知識呢？

高性能計算(High performance computing) 指通常使用很多處理器(作爲單個機器的一部分)或者某一集羣中組織的幾臺計算機(作爲單個計算資源操作)的計算系統和環境。高性能集羣上運行的應用程序一般使用並行算法，把一個大的普通問題根據一定的規則分爲許多小的子問題，在集羣內的不同節點上進行計算，而這些小問題的處理結果，經過處理可合併爲原問題的最終結果。由於這些小問題的計算一般是可以並行完成的，從而可以縮短問題的處理時間。

高性能集羣在計算過程中，各節點是協同工作的，它們分別處理大問題的一部分，並在處理中根據需要進行數據交換，各節點的處理結果都是最終結果的一部分。高性能集羣的處理能力與集羣的規模成正比，是集羣內各節點處理能力之和，但這種集羣一般沒有高可用性。高性能計算的分類方法很多。這裏從並行任務間的關係角度來對高性能計算分類。

一、高吞吐計算(High-throughput Computing)

有一類高性能計算，可以把它分成若干可以並行的子任務，而且各個子任務彼此間沒有什麼關聯。因爲這種類型應用的一個共同特徵是在海量數據上搜索某些特定模式，所以把這類計算稱爲高吞吐計算。所謂的Internet計算都屬於這一類。按照Flynn的分類，高吞吐計算屬於SIMDSingle Instruction/Multiple Data，單指令流-多數據流)的範疇。

二、分佈計算(Distributed Computing)

另一類計算剛好和高吞吐計算相反，它們雖然可以給分成若干並行的子任務，但是子任務間聯繫很緊密，需要大量的數據交換。按照Flynn的分類，分佈式的高性能計算屬於MIMD（Multiple Instruction/Multiple Data，多指令流-多數據流）的範疇。

有許多類型的HPC 系統，其範圍從標準計算機的大型集羣，到高度專用的硬件。大多數基於集羣的HPC系統使用高性能網絡互連，基本的網絡拓撲和組織可以使用一個簡單的總線拓撲。HPC系統由計算、存儲、網絡、集羣軟件四部分組成。

高性能計算HPC系統技術特點是什麼？

HPC系統目前主流處理器是X86處理器，操作系統是linux 系統(包括Intel、AMD、NEC、Power、PowerPC、Sparc等)、構建方式採用刀片系統，互聯網絡使用IB和10GE。

高性能計算HPC集羣中計算節點一般分3種: MPI節點、胖節點、GPU加速節點。雙路節點稱爲瘦節點(MPI節點)，雙路以上稱爲胖節點；胖節點配置大容量內存；集羣中胖節點的數量要根據實際應用需求而定。

GPU英文全稱Graphic Processing Unit，中文翻譯爲圖形處理器。在浮點運算、並行計算等部分計算方面，GPU可以提供數十倍乃至於上百倍於CPU的性能。目前GPU廠家只有三家NVIDIA GPU、AMD GPU和Intel Xeon PHI。可選擇的GPU種類比較少。

NVIDIA 的GPU卡分圖形卡和計算卡，圖形卡有NVIDA K2000與K4000，計算卡K20X/K40M/K80 。
Intel 的GPU是Intel Xeon Phi 系列，屬於計算卡，主要產品有Phi 5110P 、Phi 3210P、Phi 7120P、Phi 31S1P。
AMD 的GPU是圖形和計算合一，主要產品有W5000、W9100、S7000、S9000、S10000。

高性能計算的性能指標怎樣衡量？

CPU的性能計算公式: 單節點性能=處理器主頻*核數*單節點CPU數量*單週期指令數。單週期指令數=8(E5-2600/E5-2600 v2/E7-4800 v2)或16(E5-2600 v3)；節點數量=峯值浮點性能需求/單節點性能。

時延( 內存和磁盤訪問延時)是計算的另一個性能衡量指標，在HPC系統中，一般時延要求如下:

一個MFlops等於每秒一佰萬(=10^6)次的浮點運算；
一個GFlops等於每秒拾億(=10^9)次的浮點運算；
一個TFlops等於每秒一萬億(=10^12)次的浮點運算，(1太拉)；
一個PFlops等於每秒一千萬億(=10^15)次的浮點運算；
一個EFlops等於每秒一佰京(=10^18)次的浮點運算。

測試工具—Linpack HPC是什麼？

Linpack HPC 是性能測試工具。LINPACK是線性系統軟件包(Linear system package) 的縮寫，主要開始於 1974 年 4 月，美國Argonne 國家實驗室應用數學所主任 Jim Pool，在一系列非正式的討論會中評估，建立一套專門解線性系統問題之數學軟件的可能性。

業界還有其他多種測試基準，有的是基於實際的應用種類如TPC-C，有的是測試系統的某一部分的性能，如測試硬盤吞吐能力的IOmeter，測試內存帶寬的stream。

至目前爲止， Linpack 還是廣泛地應用於解各種數學和工程問題。也由於它高效率的運算，使得其它幾種數學軟件例如IMSL、MatLab紛紛加以引用來處理矩陣問題，所以足見其在科學計算上有舉足輕重的地位。

Linpack現在在國際上已經成爲最流行的用於測試高性能計算機系統浮點性能的Benchmark。通過利用高性能計算機，用高斯消元法求解N元一次稠密線性代數方程組的測試，評價高性能計算機的浮點性能。

雙列直插式內存(DIMM)有幾種類型？

雙列直插式內存(DIMM)包括UDIMM內存、RDIMM內存和LRDIMM內存三種DIMM內存可用類型。

在處理較大型工作負載時，無緩衝DIMM( UDIMM )速度快、廉價但不穩定。
寄存器式DIMM( RDIMM )內存穩定、擴展性好、昂貴，而且對內存控制器的電氣壓力小。它們同樣在許多傳統服務器上使用。
降載 DIMM( LRDIMM )內存是寄存器式內存( RDIMM )的替代品，它們能提供高內存速度，降低服務器內存總線的負載，而且功耗更低。LRDIMM內存成本比 RDIMM內存高非常多，但在高性能計算架構中十分常見。

非易失雙列直插式內存NVDIMM是什麼？

NVDIMM由BBU(Battery Backed Up) DIMM演變而來。BBU採用後備電池以維持普通揮發性內存中的內容幾小時之久。但是，電池含有重金屬，廢棄處置和對環境的污染，不符合綠色能源的要求。由超級電容作爲動力源的NVDIMM應運而生。並且NVDIMM使用非揮發性的Flash存儲介質來保存數據，數據能夠保存的時間更長。

主流高性能計算網絡類型有哪些？

InfiniBand架構是一種支持多併發鏈接的“轉換線纜”技術，InfiniBand技術不是用於一般網絡連接的，它的主要設計目的是針對服務器端的連接問題的。因此，InfiniBand技術將會被應用於服務器與服務器(比如複製，分佈式工作等)，服務器和存儲設備(比如SAN和直接存儲附件)以及服務器和網絡之間(比如LAN，WANs和互聯網)的通信。高性能計算HPC系統爲什麼要使用IB互聯？主要原因是IB協議棧簡單，處理效率高，管理簡單，對RDMA支持好，功耗低，時延低。

目前只有Mexllaon、Intel、Qlogic提供IB產品，Mexllaon是主要玩家，處於主導地位， IB目前支持FDR和QDR、EDR。

Host Channel Adapters (HCA)是IB連接的設備終結點，提供傳輸功能和Verb接口；Target Channel Adapters (TCA)是HCA的子集，基本上用於存儲。

RDMA(Remote Direct Memory Access)技術全稱遠程直接數據存取，就是爲了解決網絡傳輸中服務器端數據處理的延遲而產生的。RDMA通過網絡把數據直接傳入計算機的存儲區，將數據從一個系統快速移動到遠程系統存儲器中，實現Zero Copy。

高性能計算的靈魂—並行文件系統

TOP500 HPC系統中存儲主要使用分佈式文件系統，分佈式文件系統(Distributed File System)可以有效解決數據的存儲和管理難題: 將固定於某個地點的某個文件系統，擴展到任意多個地點/多個文件系統，衆多的節點組成一個文件系統網絡。每個節點可以分佈在不同的地點，通過網絡進行節點間的通信和數據傳輸。人們在使用分佈式文件系統時，無需關心數據是存儲在哪個節點上、或者是從哪個節點從獲取的，只需要像使用本地文件系統一樣管理和存儲文件系統中的數據。

分佈式文件系統的設計基於客戶機/服務器模式。一個典型的網絡可能包括多個供多用戶訪問的服務器。當前主流的分佈式文件系統包括: Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS等，其中Lustre、GPFS是HPC最主流的(本號歷史文章做過大量介紹和分析，請參看文章“從高性能計算(HPC)技術演變解析方案、生態和行業發展趨勢”)。

>>>>>>>>>>>>>>擴展閱讀<<<<<<<<<<<<<<