NVIDIA 發表 Hopper 架構與 H100 GPU：搭載 Transformer 專用引擎，全面引爆全球生成式 AI 革命

2022 年 3 月 22 日，在加州聖荷西舉辦的 GTC 2022 春季主題演講中，NVIDIA 執行長黃仁勳發表了半導體史上最具傳奇色彩與經濟價值的高效能運算晶片 —— NVIDIA H100 Tensor Core GPU，及其背後代號為「Hopper」的次世代加速架構。這顆晶片以電腦科學先驅 Grace Hopper 命名，針對當時正處於爆發前夜的 Transformer 架構進行了底層矽晶級別的極致定製。正是 H100 的誕生，為數個月後全球生成式 AI、萬億參數大模型以及智能湧現的全面狂飆，注入了最關鍵、最強橫的算力動能。

800 億個電晶體：台積電 4N 先進製程的工程極限

NVIDIA H100 是全球首款採用台積電客製化 4N 工藝製程（5nm 強化版）製造的超級晶片，晶片規格創下多項世界第一：

• 800 億個電晶體：在 814 mm² 的單一矽晶片上塞入了 800 億個高速電晶體，成為當時人類工程史上複雜度最高的單晶片處理器。
• 首發世界最速 HBM3 堆疊記憶體： 配備高達 80GB 的次世代 HBM3 記憶體，傳輸頻寬打破天花板達到驚人的 3.0 TB/s，比上一代 A100 整整提升了近一倍，徹底消除了超大型語言模型自注意力機制運算時的資料傳輸瓶頸。
• 首度支援 PCIe Gen5 與第四代 NVLink 互聯： 單晶片第四代 NVLink 提供高達 900 GB/s 的全雙工互連頻寬，比前代提升 50%；配合外部 NVLink Switch 網路系統，可將多達 256 顆 H100 GPU 結合成一個前所未見的巨型共享記憶體超級運算單元。

Transformer Engine：為大語言模型量身訂做的算力引擎

Hopper 架構最具歷史遠見的發明，莫過於其在硬體層面首創的 Transformer Engine（Transformer 專用引擎）：

1. 動態混合 FP8 與 FP16 浮點精度： Transformer 模型的注意力和前饋神經網路層各層數值動態範圍差異極大。傳統架構若使用低精度容易發生數值溢位或精度損失，若全部使用 FP16 則消耗過多算力。
2. 軟硬體協同動態量化（Dynamic Range Tracking）： Transformer Engine 能在神經網路運算進行的微秒瞬間，由硬體自動偵測張量數值範圍，在不損失任何模型訓練與推論精度的前提下，自動將合適的層次無縫切換至 FP8（8 位元浮點） 運算。
3. 訓練速度提升高達 6 倍，推論速度提升高達 30 倍： 在訓練擁有上千億參數的 GPT 系列巨型語言模型時，H100 展現出比前代 A100 狂飆 6 倍 的驚人吞吐；在即時生成式對話推論場景中，推論速度更狂增 30 倍！

DPX 動態規劃專用指令集

除了 AI 深度學習，Hopper 還首次在硬體中引入了 DPX 指令集，專門加速包括史密斯-沃特曼（Smith-Waterman）演算法在內的「動態規劃（Dynamic Programming）」運算。這使得蛋白質三維結構預測、基因組定序比對以及機器人路徑規劃演算法的運算速度，在硬體層面提升了 7 倍之多。

歷史回顧：全球 AI 軍備競賽中最搶手的「硬通貨」

回顧 2022 年底 ChatGPT 的橫空出世以及隨後全球科技巨頭發動的生成式 AI 軍備競賽，NVIDIA H100 成為了全球科技版圖上最炙手可熱、供不應求的「算力硬通貨」：

• 微軟、Google、Meta、亞馬遜、甲骨文以及沙烏地阿拉伯、阿聯酋等主權基金，均以數萬張為單位瘋狂爭搶採購 H100 伺服器集群。
• H100 晶片甚至被創投界譽為「新時代的算力石油」，直接推動 NVIDIA 的營收與獲利在隨後兩年內實現數倍暴增，成為世界半導體史上無可匹敵的巔峰神話。