MLPerf 作為獨立第三方基準測試，仍然是 AI 效能的權威衡量標準。自MLPerf成立以來，NVIDIA的AI平台在訓練和推論兩方面一直保持領先地位，包括今天發布的MLPerf Inference 3.0基準測試。

NVIDIA H100和L4 GPU在最新MLPerf基準測試中，將工作負載提升

NVIDIA 創辦人暨執行長黃仁勳表示：「三年前當我們推出A100的時候，人工智慧領域主要是以電腦視覺為主導。生成式人工智慧已經來臨。這正是為什麼我們打造了Hopper，針對擁有Transformer引擎的GPT進行了優化。今天的MLPerf 3.0突顯出，Hopper的性能是A100的4倍。下一世代生成式人工智慧需要新的人工智慧基礎架構來訓練大型語言模型，並同時具備極高的能效。客戶正在大規模擴展Hopper，透過NVIDIA NVLink和InfiniBand來互通連接數萬個Hopper GPU構建人工智慧基礎架構。產業正努力發展安全可靠的生成式人工智慧，Hopper能夠協助實現這項重要的工作。」

最新MLPerf基準測試顯示，NVIDIA將人工智慧推論從雲端到邊緣的性能和效率提升到新境界。

具體來說，在最新一輪的MLPerf測試中，運行於DGX H100系統中的DGX H100系統中的NVIDIA H100 Tensor Core GPU在每個人工智慧推論測試中均實現了最高性能。人工智慧推論是在生產過程中運行神經網絡的工作。歸因於軟體的優化，此GPU的效能較去年9月份首次亮相時提升了54%。

在醫療保健領域，H100 GPU自9月以來在醫療成像的MLPerf基準3D-UNet (醫學圖像分割)上實現了31%的效能增長。

NVIDIA H100 GPU 在資料中心類別的所有作業負載測試成果均創下新高

憑藉其Transformer引擎，基於Hopper架構的H100 GPU在BERT方面表現優異，BERT是基於Transformer的大型語言模型，是現今生成式人工智慧獲得廣泛應用的關鍵基礎。

生成式人工智慧能讓使用者能夠快速創建文本、圖像、3D模型等等，這種能力從新創企業到雲服務提供商都在快速採用，以開創新的商業模式並加速現有商業模式的發展。目前數億人正在使用像ChatGPT這樣的生成式人工智慧工具（也是一種Transformer模型），期望獲得即時回應。

在這個人工智慧的iPhone時代，推論的效能至關重要。深度學習現在幾乎被應用到各個領域，從工廠到線上推薦系統，對推理效能有著永無止境的需求。

L4 GPU 速度出眾

NVIDIA L4 Tensor Core GPU 在 MLPerf 測試中首次亮相，其速度是上一代 T4 GPU 的 3 倍以上。 這些加速器採用低調外形封裝，其設計旨在為幾乎所有伺服器提供高吞吐量和低延遲。

L4 GPU 運行所有 MLPerf 工作負載。 由於他們支援關鍵的 FP8 格式，他們在效能要求極高的BERT模型上的結果尤其令人驚嘆。

除了出色的人工智慧效能外，L4 GPU還能提供高達10倍更快的圖像解碼速度，高達3.2倍更快的影片處理速度以及超過4倍更快的圖形和即時渲染效能。

兩周前的GTC上即宣布，已可從主要系統製造商和雲端服務供應商獲得這些加速器。L4 GPU是NVIDIA在GTC推出的最新人工智慧推理平台產品組合的最新成員。

軟體和網路在系統測試中大放異彩

NVIDIA的全棧人工智慧平台在新的MLPerf測試中展現了其領先地位。所謂的網路劃分基準測試會將資料流傳輸到遠端推論伺服器，這反映了企業使用者在雲端執行AI工作，並將資料儲存到企業防火牆後的常見場景。

在BERT測試中，遠端NVIDIA DGX A100系統的表現達到了其最大本地性能的96％，速度變慢的部分原因是它們需要等待 CPU 完成某些任務。而在僅由GPU處理的ResNet-50電腦視覺測試中，它們達到了100％的最佳表現。這兩個結果在很大程度上要歸功於 NVIDIA Quantum Infiniband 網絡、NVIDIA ConnectX SmartNIC 和 NVIDIA GPUDirect 等軟體。

Orin 在邊緣顯示 3.2 倍的效能提升

另外，NVIDIA Jetson AGX Orin 系統模組的能效和性能表現，與前一年的結果相較，分別提高了63%和81%。Jetson AGX Orin 可在有限空間以低功率水平（包括僅由電池供電的系統）提供人工智慧推論。

對於需要更小模塊且功耗更低的應用，Jetson Orin NX 16G在其首次亮相的基準測試中表現出色。它提供的性能比上一代Jetson Xavier NX處理器高出多達3.2倍。

廣大的 NVIDIA AI 生態系

從 MLPerf 的測試結果便能看出 NVIDIA AI 獲得業界最廣泛的機器學習生態系支持。

本輪有10家公司在基於 NVIDIA 平台上提交了結果。 他們來自 Microsoft Azure 雲端服務和系統製造商，包括像是由華碩（ASUS）、戴爾科技集團（Dell Technologies）、技嘉（GIGABYTE）、新華三集團（H3C）、聯想（Lenovo）、寧暢信息產業（北京）有限公司（Nettrix）、美超微（Supermicro）和超聚變數字技術有限公司（xFusion）。

它們的測試結果顯示，無論是在雲端或在用戶自己的資料中心伺服器上，使用NVIDIA AI 獲得絕佳效能。

NVIDIA 的合作夥伴深知，MLPerf 是一項讓客戶用於評估 AI 平台及供應商的寶貴工具，因此才會加入測試。最新一輪的結果顯示，他們如今提供給用戶的出色效能，將隨著 NVIDIA 平台的發展而更將持續強化。

使用者需要多樣化的效能

NVIDIA AI是唯一能在資料中心和邊緣運算中執行所有MLPerf推論工作負載和情境的平台。其多功能的效能與效率，讓使用者成為真正的贏家。

現實應用通常使用許多不同類型的神經網路，這些神經網路通常需要即時提供出答案。例如，AI 應用可能需要理解使用者的口語請求，對圖像進行分類，進行推薦，然後以類人聲的語音傳遞回應。每個步驟都需要不同類型的 AI 模型。MLPerf基準測試涵蓋這些和其他常見的AI工作負載。也就是這些測試何以確保IT決策者能獲得既可靠且可以靈活部署的效能。

使用者可依據 MLPerf 結果做出明智的購買決定，因為這些測試是透明和客觀的。 這些基準測試得到了包括 Arm、百度、Facebook AI、Google、哈佛、Intel、微軟、史丹福和多倫多大學在內的廣大團體支持。