原標題：NVIDIA刷新AI推理記錄，推兩大GPU新品，六類AI算法通殺

芯東西（ID：aichip001）

作者 | 心緣

編輯 | 漠影

芯東西4月22日報道，NVIDIA面向企業級服務器最新推出的A30和A10 GPU兩大數據中心推理新品，今日完成性能首秀，並創下推理新紀錄。

在業界公認的AI性能衡量基準——MLPerf基準測試中，NVIDIA GPU在所有類別刷新記錄。

絕大多數參與數據中心及邊緣推理測試的系統均採用NVIDIA GPU作爲AI加速器，少數則採用高通、賽靈思、Neuchips、Centaur、Arm等其他芯片商的加速器。

NVIDIA的兩款新GPU集高性能與低功耗於一身，可成爲企業在AI推理、訓練、圖形和傳統企業級計算工作負載等諸多方面的主流選擇。思科、戴爾科技、慧與、浪潮和聯想預計會從今年夏季開始將這兩款GPU集成到其最高容量的服務器中。

鏈接：https://mlcommons.org/en/inference-datacenter-10/

一、NVIDIA在六類算法測試均刷新紀錄

MLPerf基準測試由圖靈獎得主David Patterson聯合科技公司和全球頂級高校於2018年發起，是業界首套衡量機器學習軟硬件性能的通用基準，能展示不同CPU、GPU、加速器組合做展示出的不同性能表現，如今MLPerf已成爲業界評測AI性能的最主流標準之一。

“隨着AI持續爲各行各業帶來變革，MLPerf也成爲企業的一項重要工具，能夠助力其在IT基礎設施投資方面做出明智的決策。”NVIDIA加速計算部門總經理兼副總裁Ian Buck說，“如今，所有主要OEM廠商都提交了MLPerf測試結果。”

除NVIDIA公司提交的測試結果外，阿里雲、戴爾科技、富士通、技嘉科技、慧與、浪潮、聯想和超微等多家NVIDIA合作伙伴也提交了共360多項基於NVIDIA GPU的測試結果。

最新公佈的測試結果顯示，NVIDIA是唯一一家針對數據中心和邊緣類別中的每項測試都提交結果的公司，並在所有MLPerf工作負載中均展現出領先的性能。

例如，在數據中心基準測試中，NVIDIA A100的性能表現相較CPU提高17-314倍，最新發布的A10和A30也展現出不錯的測試結果。

相比高通Cloud AI 100，NVIDIA A100在ResNet-50和SSD-Large算法中均展現出更高的性能。

NVIDIA A100、Jetson系列在邊緣基準測試中展示了全部六類算法測試的結果。

此外，NVIDIA還開創性地使用NVIDIA Ampere架構的多實例GPU性能，在單一GPU上使用7個MIG實例，同時運行所有7項MLPerf離線測試。該配置實現了與單一MIG實例獨立運行幾乎相同（98%）的性能。

這些提交結果展示了MIG的性能和通用性。基礎設施經理可以針對特定應用，配置適當數量的GPU計算，從而讓每個數據中心GPU都能發揮最大的效用。

多項提交結果還基於NVIDIA Triton推理服務器。該推理服務器支持來自所有主要框架的模型，可在GPU及CPU上運行，並針對批處理、實時和串流傳輸等不同的查詢類型進行了優化，能簡化在應用中部署AI的複雜性，同時保證領先的性能。

在配置相當的情況下，採用Triton的提交結果所達到的性能接近於最優化的GPU實現及CPU實現能夠達到的性能。

二、A30和A10今夏商用

NVIDIA能夠取得如此佳績，得益於NVIDIA AI平臺的廣度。

該AI平臺包含多種類型的GPU以及經優化後能實現AI加速的全棧NVIDIA軟件，包括TensorRT和NVIDIA Triton推理服務器。微軟、Pinterest、Postmates、T-Mobile、USPS、微信等企業都部署了NVIDIA AI平臺。

A30和A10 GPU是NVIDIA AI平臺中的最新成員。

A30能夠爲行業標準服務器提供通用的性能，支持廣泛的AI推理和主流企業級計算工作負載，如推薦系統、對話式AI和計算機視覺。

A10可加速深度學習推理、交互式渲染、計算機輔助設計和雲遊戲，使企業能夠基於通用基礎設施，爲混合型AI和圖形工作負載提供支持。通過採用NVIDIA虛擬GPU軟件，可改進管理，爲設計師、工程師、藝術家和科學家所用的虛擬桌面提高利用率並完善配置。

NVIDIA Jetson平臺基於NVIDIA Xavier系統級模塊，可在邊緣提供服務器級的AI性能，助力機器人、醫療健康、零售等領域實現更多的創新應用。Jetson基於NVIDIA的統一架構和CUDA-X軟件堆棧，是唯一採用緊湊型設計、能夠運行所有邊緣工作負載且功耗低於30W的平臺。

過去6個月，NVIDIA端到端AI平臺在MLPerf的性能提升達45%。

NVIDIA A100 GPU搭載於領先服務器製造商的服務器、所有主要雲服務提供商的雲端，以及NVIDIA DGX系統產品組合（包括NVIDIA DGX Station A100、NVIDIA DGX A100和NVIDIA DGX SuperPOD）。

A30和A10（功耗分別爲165W和150W）預計將從今夏起用於各類服務器中，包括經嚴格測試以確保在各類工作負載下均可實現高性能的NVIDIA認證系統。

NVIDIA Jetson AGX Xavier和Jetson Xavier NX系統級模塊已通過全球經銷商供貨。

NVIDIA Triton和NVIDIA TensorRT均可通過NVIDIA的軟件目錄NGC獲取。

結語：MLPerf參與者集中於芯片大廠

總體來看，參與MLPerf基準測試的AI加速器主要來自NVIDIA、高通、賽靈思等芯片巨頭，尤其是NVIDIA GPU幾乎刷屏數據中心及邊緣的加速器一列，相對而言，我們鮮少看見AI硬件初創公司的身影。

NVIDIA加速計算部門總經理兼副總裁Ian Buck說：“NVIDIA及合作伙伴的關注點不僅在於實現全球領先的AI性能，同時還注重通過即將面市的一系列搭載A30和A10 GPU的企業級服務器來實現AI普及化。”