作為全球 AI 基礎設施的全新引擎，NVIDIA H100 GPU 實現(xiàn)了數(shù)量級的性能飛躍

NVIDIA 于今日宣布推出采用 NVIDIA Hopper? 架構的新一代加速計算平臺。與上一代產(chǎn)品相比，該平臺實現(xiàn)了數(shù)量級的性能飛躍。

這一全新架構以美國計算機領域的先驅科學家 Grace Hopper 的名字命名，將取代兩年前推出的 NVIDIA Ampere 架構。

NVIDIA 同時發(fā)布其首款基于 Hopper 架構的 GPU — NVIDIA H100。該款 GPU 集成了 800 億個晶體管。H100 是全球范圍內(nèi)最大的性能出眾的加速器，擁有革命性的 Transformer 引擎和高度可擴展的 NVIDIA NVlink® 互連技術等突破性功能，可推動龐大的 AI 語言模型、深度推薦系統(tǒng)、基因組學和復雜數(shù)字孿生的發(fā)展。

NVIDIA 創(chuàng)始人兼 CEO 黃仁勛表示：“數(shù)據(jù)中心正在轉變成‘AI 工廠’。它們處理大量數(shù)據(jù)，以實現(xiàn)智能。NVIDIA H100 是全球 AI 基礎設施的引擎，讓企業(yè)能夠利用其實現(xiàn)自身 AI 業(yè)務的加速?！?

H100 技術突破

H100 NVIDIA GPU 為加速大規(guī)模 AI 和 HPC 設定了新的標準，帶來了六項突破性創(chuàng)新：

• 世界最先進的芯片 —— H100 由 800 億個晶體管構建而成，這些晶體管采用了專為 NVIDIA 加速計算需求設計的尖端的 TSMC 4N 工藝，因而能夠顯著提升 AI、HPC、顯存帶寬、互連和通信的速度，并能夠實現(xiàn)近 5TB/s 的外部互聯(lián)帶寬。H100 是首款支持 PCIe 5.0 的 GPU，也是首款采用 HBM3 的 GPU，可實現(xiàn) 3TB/s 的顯存帶寬。20個 H100 GPU 便可承載相當于全球互聯(lián)網(wǎng)的流量，使其能夠幫助客戶推出先進的推薦系統(tǒng)以及實時運行數(shù)據(jù)推理的大型語言模型。

• 新的 Transformer 引擎 —— Transformer 現(xiàn)在已成為自然語言處理的標準模型方案，也是深度學習模型領域最重要的模型之一。H100 加速器的 Transformer 引擎旨在不影響精度的情況下，將這些網(wǎng)絡的速度提升至上一代的六倍。

• 第二代安全多實例 GPU —— MIG 技術支持將單個 GPU 分為七個更小且完全獨立的實例，以處理不同類型的作業(yè)。與上一代產(chǎn)品相比，在云環(huán)境中 Hopper 架構通過為每個 GPU 實例提供安全的多租戶配置，將 MIG 的部分能力擴展了 7 倍。

• 機密計算 —— H100 是全球首款具有機密計算功能的加速器，可保護 AI 模型和正在處理的客戶數(shù)據(jù)?？蛻暨€可以將機密計算應用于醫(yī)療健康和金融服務等隱私敏感型行業(yè)的聯(lián)邦學習，也可以應用于共享云基礎設施。

• 第 4 代 NVIDIA NVlink —— 為加速大型 AI 模型，NVlink 結合全新的外接 NVlink Switch，可將 NVlink 擴展為服務器間的互聯(lián)網(wǎng)絡，最多可以連接多達 256 個 H100 GPU，相較于上一代采用 NVIDIA HDR Quantum InfiniBand網(wǎng)絡，帶寬高出9倍。

• DPX 指令 —— 新的 DPX 指令可加速動態(tài)規(guī)劃，適用于包括路徑優(yōu)化和基因組學在內(nèi)的一系列算法，與 CPU 和上一代 GPU 相比，其速度提升分別可達 40 倍和 7 倍。Floyd-Warshall 算法與 Smith-Waterman 算法也在其加速之列，前者可以在動態(tài)倉庫環(huán)境中為自主機器人車隊尋找最優(yōu)線路，而后者可用于 DNA 和蛋白質分類與折疊的序列比對。

H100 的多項技術創(chuàng)新相結合，進一步擴大了 NVIDIA在 AI 推理和訓練的領導地位，利用大規(guī)模 AI 模型實現(xiàn)了實時沉浸式應用。H100 將支持聊天機器人使用功能超強大的monolithic Transformer 語言模型 Megatron 530B，吞吐量比上一代產(chǎn)品高出 30 倍，同時滿足實時對話式 AI 所需的次秒級延遲。利用 H100，研究人員和開發(fā)者能夠訓練龐大的模型，如包含 3950 億個參數(shù)的混合專家模型，訓練速度加速高達9倍，將訓練時間從幾周縮短到幾天。

NVIDIA H100 的廣泛采用

NVIDIA H100 可部署于各種數(shù)據(jù)中心，包括內(nèi)部私有云、云、混合云和邊緣數(shù)據(jù)中心。這款產(chǎn)品預計于今年晚些時候全面發(fā)售，屆時企業(yè)可從全球各大云服務提供商和計算機制造商處購買，或者直接從 NVIDIA 官方渠道購買。

NVIDIA 的第四代 DGX? 系統(tǒng) DGX H100 配備 8 塊 H100 GPU，以全新的 FP8 精度提供 32 Petaflop 的 AI 性能，并支持擴展，能夠滿足大型語言模型、推薦系統(tǒng)、醫(yī)療健康研究和氣候科學的海量計算需求。

DGX H100 系統(tǒng)中的每塊 GPU 都通過第四代 NVlink 連接，可提供 900GB/s 的帶寬，與上一代相比，速度提升了 1.5 倍。NVSwitch? 支持所有八塊 H100 GPU 通過 NVlink 全互聯(lián)。新一代 NVIDIA DGX SuperPOD? 超級計算機可通過外部 NVlink Switch 互聯(lián)，最多可連接 32 個 DGX H100 節(jié)點。

Hopper 已在行業(yè)內(nèi)獲得各大云服務提供商的廣泛支持，包括阿里云、AWS、百度智能云、Google Cloud、Microsoft Azure、Oracle Cloud、騰訊云和火山引擎，這些云服務商均計劃推出基于 H100 的實例。

全球領先的系統(tǒng)制造商，包括源訊、BOXX Technologies、思科、戴爾科技、富士通、技嘉、新華三、慧與 (HPE)、浪潮、聯(lián)想、寧暢和超微預計推出各種采用 H100 加速器的服務器。

規(guī)模各異的 NVIDIA H100

H100 將提供 SXM 和 PCIe 兩種規(guī)格，可滿足各種服務器設計需求。此外，NVIDIA還會推出融合加速器，耦合 H100 GPU 與 NVIDIA ConnectX®-7 400Gb/s InfiniBand 和以太網(wǎng)智能網(wǎng)卡。

NVIDIA H100 SXM 提供 4 GPU 和 8 GPU 配置的 HGX? H100 服務器主板，可助力企業(yè)將應用擴展至一臺服務器和多臺服務器中的多個 GPU。基于 HGX H100 的服務器可為 AI 訓練和推理以及數(shù)據(jù)分析和 HPC 應用提供更高的應用性能。

H100 PCIe 通過 NVlink 連接兩塊 GPU，相較于 PCIe 5.0，可提供 7 倍以上的帶寬，為主流企業(yè)級服務器上運行的應用帶來卓越的性能。PCIe規(guī)格便于集成到現(xiàn)有的數(shù)據(jù)中心基礎設施中。

H100 CNX 是一款全新的融合加速器。這款加速器將 H100 與 ConnectX-7 智能網(wǎng)卡相結合，可為 I/O 密集型應用（如企業(yè)級數(shù)據(jù)中心內(nèi)的多節(jié)點 AI 訓練和邊緣 5G 信號處理）提供強勁性能。

NVIDIA Hopper 架構 GPU 還可與 NVIDIA Grace? CPU 通過 NVlink-C2C 互聯(lián)，與 PCIe 5.0 相比，可將 CPU 和 GPU 之間的通信速度提高 7 倍以上。這一組合，即Grace Hopper 超級芯片，可用于大規(guī)模 HPC 和 AI 應用。

NVIDIA 軟件支持

H100 NVIDIA GPU 由功能強大的軟件工具提供支持，可助力開發(fā)者和企業(yè)構建并加速 AI、HPC 等一系列應用。其中包括用于語音、推薦系統(tǒng)和超大規(guī)模推理等工作負載的 NVIDIA AI 軟件套件的重大更新。

NVIDIA 還發(fā)布了 60 多個針對 CUDA-X? 的一系列庫、工具和技術的更新，以加速量子計算和 6G 研究、網(wǎng)絡安全、基因組學和藥物研發(fā)等領域的研究進展。

供貨信息

NVIDIA H100 將自第三季度起開始供貨。

觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的 GTC 2022 主題演講，進一步了解NVIDIA Hopper 和 H100。免費注冊 GTC 2022，與NVIDIA和行業(yè)領導者共襄盛會。