NVIDIA 發表 HGX-2 萬億次 AI 伺服器與 T4 推理 GPU：全面確立全球資料中心深度學習基礎設施

2018 年 9 月，隨著全球科技巨頭展開以深度學習為核心的雲端軍備競賽，NVIDIA 在華盛頓與各國 GTC 大會上連續重磅發表了兩款徹底改變資料中心生態的關鍵產品 —— 被譽為雲端運算怪獸的 NVIDIA HGX-2 人工智慧伺服器主機板平台，以及專為超大規模雲端即時推理量身打造的 NVIDIA Tesla T4 GPU。這項雙管齊下的戰略布局，讓 NVIDIA 牢牢鎖定了全球超大規模資料中心（Hyperscalers）從「模型訓練」到「即時推論」的全端算力入口。

HGX-2：首創 16 顆 GPU 完全互聯的 2 PFLOPS 算力巨獸

為了解決數千億參數巨型神經網絡（如早期 BERT 模型與超大型推薦系統）無法被塞入單一伺服器的架構難題，NVIDIA 推出了工程奇蹟 HGX-2：

1. 16 顆 Tesla V100 滿血集結： 整套系統板卡整合了 16 顆 Tesla V100 32GB GPU，搭載半精度 Tensor Core 運算矩陣，提供高達 2 PFLOPS（每秒兩千萬億次浮點運算） 的深度學習澎湃算力，並坐擁 512GB 的超高速 HBM2 共享記憶體池。
2. 革命性 NVSwitch 晶片打造全互聯交叉網絡： HGX-2 首度導入了 12 顆客製化 NVSwitch 高速路由交換晶片。透過 NVSwitch，16 顆 GPU 中的任何一顆都能以每秒 300 GB/s 的全速雙向頻寬與其餘 15 顆 GPU 直接通訊，整機聚合雙向頻寬達到驚人的 2.4 TB/s！這徹底打破了以往伺服器內跨 PCIe 匯流排通訊時劇烈的延遲瓶頸。
3. 大幅取代數百台傳統 CPU 伺服器： 在 ResNet-50 圖像訓練測試中，單台 HGX-2 系統的訓練速度超越了 300 台由雙路 Intel Xeon CPU 組成的傳統伺服器集群，同時將資料中心佔地面積縮減至 1/8、電力消耗削減至 1/5。

Tesla T4：70W 超低功耗的萬能雲端推論引擎

在雲端服務的另一端 —— 即時推論（Inference），NVIDIA 推出了具備極高能效比的 Tesla T4 GPU：

• 基於 12nm Turing 架構，具備 2560 個 CUDA 核心與 320 個 Turing Tensor Core。
• 在僅有 70 瓦（PCIe 半高單槽規格） 的極致散熱規格下，輸出 130 TOPS 的 INT8 矩陣算力與 260 TOPS 的 INT4 算力。
• 專門針對語音辨識、自然語言處理、影像搜尋與智慧推薦系統進行全方位優化，迅速成為微軟 Azure、Google Cloud 與阿里巴巴等全球雲端巨頭部署量最大的 AI 推論硬體。

歷史回顧：奠定百萬卡算力中心的大一統標準

HGX-2 與 Tesla T4 的成功，向全世界證明了「資料中心已經是新型態的計算單元」。透過 NVSwitch 打通節點內多卡直連，配合高能效推理矩陣，NVIDIA 不僅將全球雲端服務商深度綁定在 CUDA 生態之中，更為數年後支撐 ChatGPT、生成式 AI 大模型所需的萬卡集群架構，奠定了無可撼動的軟硬體工業標準。