當固態硬碟成為顯存的備援：輝達的儲存虛擬化技術與 AI 算力極限賽

把三張 H100 運算加速卡與四十四顆固態硬碟串接起來，能達成什麼成就？根據近期科技社羣熱議的技術展示，這套硬體組合能將隨機讀取速度推升到每秒超過兩億三千萬次 IOPS。這個數字並非要挑戰傳統資料庫的查詢極限，而是為了解決當前人工智慧產業最棘手的物理瓶頸：運算處理器的速度遠遠超越了資料喂給它的能力。

近期 B站與各大硬體論壇流傳著一則技術動態，指出輝達正積極研發將固態硬碟作為額外顯存的技術。這項被部分創作者稱為儲存大革命的概念，並非憑空出現的瘋狂點子，而是整個人工智慧供應鏈在面對高頻寬記憶體產能受限時，所不得不採取的妥協方案。

當我們把目光從模型參數量的軍備競賽，轉移到支撐這些參數運作的底層硬體架構時，會發現一個殘酷的現實：AI 的發展並未受阻於演算法的瓶頸，而是受困於記憶體的製造產能。輝達將儲存媒體轉化為記憶體用途的嘗試，正是要在這個物理極限中，為資料中心營運商擠出最後一分可用算力。

高頻寬記憶體的物理高牆與延遲妥協

要理解為何輝達需要把腦筋動到固態硬碟上，必須先釐清當前運算加速卡的硬體架構困境。一顆現代化的高階運算晶片，例如 H100，其運算核心具備每秒數十甚至數百 TFLOPS 的計算能力。這意味著它每秒鐘可以進行數以兆計的數學運算。

然而，運算核心本身沒有儲存資料的能力，所有的權重參數與中間計算結果都必須存放在旁邊的記憶體中。目前高階晶片普遍採用高頻寬記憶體，這是一種透過硅穿孔技術將多個動態記憶體晶片與邏輯晶片垂直封裝在一起的硬體。它的頻寬極大，但也伴隨著極高的良率挑戰與有限的產能。

當模型參數量從幾百億暴增到數千億時，單張加速卡上的高頻寬記憶體容量根本裝不下整個模型。這時系統必須將模型拆分到多張卡上，或者將部分資料暫時存放在主機板的傳統動態記憶體中。這與我們先前分析過的輝達考慮調降 Rubin Ultra 規格的供應鏈訊號完全指向同一個困境：算力可以透過晶片數量疊加，但記憶體容量與頻寬正面臨難以突破的物理高牆。

固態硬碟作為額外顯存的概念，就是在這個極限狀態下誕生的備援機制。固態硬碟的優點在於容量大且成本低，其每單位儲存成本遠低於高頻寬記憶體，甚至比傳統動態記憶體便宜數十倍。如果能將數百 GB 甚至數 TB 的模型參數直接放在固態硬碟上，讓運算核心直接呼叫，理論上就能突破記憶體容量的限制。

但這套機制存在一個巨大的技術鴻溝：延遲時間。高頻寬記憶體與運算核心之間的資料傳輸延遲以奈秒計算，而傳統固態硬碟的讀取延遲則在微秒等級。兩者之間存在著一千倍以上的速度落差。如果運算核心直接向固態硬碟索要資料，就如同讓一架超音速 jet 戰鬥機停在原地等待牛車運送燃料。

軟體定義儲存與虛擬顯存的運作邏輯

輝達這項技術的真正核心，並非單純把硬碟插在伺服器上，而是透過底層軟體架構來欺騙運算核心，打造一個看似無限大的虛擬記憶體池。

在這套以三張 H100 驅動四十四顆固態硬碟的展示架構中，關鍵在於 PCIe 通道的極限壓榨與資料快取機制。系統會透過一個特殊的虛擬化層，將所有實體硬碟的儲存空間融合為一個單一的記憶體位址區塊。對於上層的 AI 框架（例如 PyTorch 或是 CUDA 軟體生態系）來說，它看到的是一個容量超大且連續的記憶體空間。

當模型進行推理運算時，虛擬化層會啟動類似電腦作業系統中「換頁」的機制。系統會預測運算核心接下來需要哪些參數區塊，並提前將這些資料從固態硬碟搬運到系統記憶體，最後再放進高頻寬記憶體中。這套被稱為軟體定義儲存或計算快取的技術，目的是讓龐大的固態硬碟陣列成為高頻寬記憶體的備援庫。

要讓這個機制跑得動，硬體介面的升級是必須的。傳統的固態硬碟介面主要為了檔案系統設計，其讀寫指令的排隊深度與處理機制無法滿足運算核心即時索求資料的密集需求。這也是為什麼我們看到採用高速 PCIe 通道的企業級固態硬碟，搭配特殊的資料處理器（DPU），能夠在不壓垮運算核心的情況下，維持每秒破兩億次的讀取請求。

換句話說，輝達並非發明了全新的儲存硬體，而是透過軟體堆疊與硬體直連技術，重新定義了固態硬碟在 AI 伺服器中的角色。它不再是存放作業系統與日誌的倉庫，而是記憶體架構的延伸。

從資料中心到消費級顯示卡的誤解與現實

當這則技術消息傳出後，許多硬體論壇與社羣出現了相當程度的過度樂觀解讀。有人猜測未來的消費級遊戲顯示卡是否能透過這項技術，利用主機板上的硬碟來彌補實體顯存的不足，讓只有 8GB 記憶體的中階顯卡也能跑起龐大的模型。

要回答這個問題，必須理解企業級資料中心與消費級個人電腦在架構上的本質差異。這與我們探討過的高階智慧型手機在機構空間與內部硬體堆疊的極限博弈有著相似的邏輯：硬體的物理空間與通道頻寬決定了可能性。

在資料中心，伺服器具備數十條 PCIe 5.0 通道，可以同時插上數十顆高效能固態硬碟，並透過高速交換器與運算加速卡相連。在這種架構下，整體的吞吐量足以支撐虛擬顯存機制的運作。但在消費級主機板上，處理器與晶片組提供的 PCIe 通道數量有限，大部分的消費級固態硬碟也是為了循序讀取大檔案設計，而非應付密集的隨機小檔案讀取。

更重要的是延遲造成的運算阻塞。在資料中心的架構中，輝達可以透過三張 H100 的協同運算與龐大的快取記憶體來掩蓋硬碟讀取的延遲。但在單一消費級顯示卡上，如果運算核心頻繁地向固態硬碟請求資料，效能將會出現斷崖式的下跌。這就好比在玩大型 3D 遊戲時，畫面因為不斷讀取硬碟而卡頓的情況將會成為常態。

因此，這項技術短期內的應用場景將嚴格侷限於雲端資料中心與超級電腦。目的是讓那些無法負擔無限堆疊高頻寬記憶體的雲端服務商，能夠透過較為便宜的固態硬碟陣列，提供更大容量的模型託管服務。

儲存媒體的加速折舊與成本轉移難題

除了效能表現之外，這種將固態硬碟當作記憶體使用的架構，還帶來了另一個容易被忽略的工程難題：快閃記憶體的物理壽命。

固態硬碟的儲存單元在每一次寫入與抹除循環中都會造成物理損耗。傳統的資料儲存使用情境中，硬碟的寫入頻率相對較低，廠商可以透過 Wear Leveling（磨損均衡）等演算法，讓硬碟在保固期內保持穩定。但如果將固態硬碟作為記憶體的快取或延伸，意味著系統將會以前所未有的頻率，不斷地在硬碟與高頻寬記憶體之間搬移資料。

這種密集的換頁與快取操作，會導致固態硬碟的健康度（Health Status）以極快的速度下降。企業級硬碟雖然擁有更好的耐用性，但在如此高負載的情境下，其使用壽命也會大幅縮短。

這就衍生出一個商業層面的考量。如果雲端服務商採用這種架構來擴充模型的可用記憶體，雖然省下了購買昂貴高頻寬記憶體的成本，卻必須面對固態硬碟加速折舊的替換成本。這是一個將一次性的記憶體採購成本，轉化為持續性的硬碟維運開銷的過程。

對於輝達而言，推動這項技術的誘因非常明確。高頻寬記憶體的供應鏈主要由少數幾家記憶體大廠掌握，這限制了輝達出貨量的天花板。如果透過軟體技術讓伺服器能夠以較少的記憶體數量，搭配固態硬碟來運行更大的模型，輝達就能在現有產能限制下賣出更多的運算加速卡。這是算力提供者與硬體製造商之間，基於物理限制與經濟效益所達成的一種利益結構重組。

AI 算力發展的下一個觀察指標

輝達將固態硬碟納入虛擬顯存架構的嘗試，揭示了 AI 硬體發展的一個重要訊號。未來幾年，我們將看到更多異構記憶體架構的出現。算力不再只取決於晶片上電晶體的數量，而是取決於整個伺服器節點內部，各種不同儲存媒體之間資料調度的效率。

對於關注人工智慧與雲端產業的人來說，這項技術的成熟度將直接影響未來大型語言模型託管的成本結構。如果虛擬顯存技術能夠進一步優化，降低讀取延遲帶來的效能損失，我們可能會看到雲端推理服務的價格進一步下降，使得更龐大、更聰明的模型能夠以更低的成本提供商業服務。

與此同時，這項技術也凸顯了算力需求與硬體製造之間的深層矛盾。當運算能力以摩爾定律甚至超越摩爾定律的速度增長時，餵養這些運算怪獸的記憶體與儲存系統，卻受限於材料科學與封裝技術的進展。將固態硬碟作為顯存的延伸，是在這個矛盾中求生存的變通之道。

接下來值得觀察的重點，是各大雲端服務提供商何時會將這種記憶體架構正式商業化，以及作業系統與 AI 框架如何針對這種多層次記憶體架構進行底層優化。在高頻寬記憶體的產能獲得根本性突破之前，這類透過軟體與系統架構來壓榨硬體效能的極端方案，將成為 AI 基礎設施領域的常態。