每瓦多跑六成智慧體:輝達實測 Vera CPU,AI 資料中心的瓶頸換了位置
輝達公布 Vera CPU 的智慧體實測數據,本文從工作負載為何回流 CPU、合作方數字的參考價值與廠商自測的折扣空間,整理這份成績單對 x86 陣營與資料中心採購的意義,以及後續可依序核對的訊號。
當 AI 從生成答案走向執行任務,每瓦能跑多少個智慧體成了新的採購指標;輝達用一份自測成績單,第一次把 x86 兩強直接拉進這個比較基準。
同樣是啟動 1,000 個智慧體沙盒,一種處理器花 10.8 秒,另一種要 88.4 秒。這組對比出自新創 Daytona,收錄在輝達 11 月 5 日發布的官方部落格文章裡。當天輝達公布了旗下 Vera CPU 在智慧體工作負載上的實測數據,這是這顆 3 月 16 日發表的處理器,第一次以智慧體的名義對外亮出成績單。
數據的核心只有兩個數字。在 100 MW(百萬瓦)資料中心的場景下,Vera 每瓦可以支撐的智慧體數量,是市面上最快 x86 CPU 的 1.6 倍;換成對比能效最高的 x86 CPU,智慧體執行速度提升 2 倍,能效依然領先。換句話說,同樣一段電力,輝達宣稱可以多養六成的智慧體。
智慧體把工作量推回 CPU
過去兩年談 AI 算力,主角都是 GPU。傳統生成式 AI 的負載相對單純:模型收到問題,吐出答案,重活集中在推理。智慧體不同。輝達在文章裡描述的工作流程是:搜尋資料、查詢資料庫、撰寫並測試程式碼,然後實際執行任務。這些步驟大量落在 CPU 上,而且整個過程需要在 CPU(負責執行)與 GPU(負責推理)之間反覆來回。
於是輝達給出的判斷是:隨著企業開始規模化部署智慧體,資料中心的核心瓶頸正從單純算力,轉向速度、併發能力與能耗三者之間的平衡。瓶頸的位置變了,計分的方式也得跟著換。過去比的是每秒多少次推理,這份報告比的是每瓦能跑多少個智慧體。
這個指標選得相當精準。電力已經是大型資料中心最硬的限制:一個園區能拿到多少電,決定了能裝多少機櫃;機櫃數量決定了能養多少智慧體。在電力總量固定的前提下,每瓦吞吐量多出六成,等於同一座機房可以多承接六成的智慧體業務。甲骨文日前宣布募資引發股價重挫,市場對 AI 資料中心擴張的疑慮隨之浮上檯面;輝達這份報告等於把同一個問題反過來回答:電力有限的時候,誰能從每一瓦擠出最多的任務。
早期合作方交出的數字
輝達同時公布了多家早期合作方的測試結果,這部分比官方對比更有參考價值,因為它顯示真實業務場景裡的落差有多大。
Perplexity 稱使用 Vera 執行智慧體編碼任務,比傳統 CPU 快 1.5 倍,並計畫將其投入生產系統。DeepInfra 回報在智慧體編排任務中,Vera 比最佳 x86 處理器快至多 2.2 倍。資料庫廠商 ClickHouse 的結果最技術性:標準軟體未經專門優化,即可在 176 個核心上接近線性擴展,並藉此登上 ClickBench 硬體排行榜。Daytona 的併發數據就是開場那組:10.8 秒啟動 1,000 個智慧體沙盒,在 2,000 個併發沙盒下每秒完成 12.7 個任務,x86 平臺則需要 88.4 秒。Modal 回報每核心沙盒吞吐量最高達到同類 x86 硬體的 2 倍。
這五家公司有一個共同點:賣的都是智慧體的執行環境。Perplexity 做搜尋與編碼代理,DeepInfra 經營推理服務,Daytona 與 Modal 提供沙盒與無伺服器運算。對這類業者來說,CPU 啟動沙盒的速度、同時撐住多少併發,直接決定一臺機器能服務多少客戶。他們是對這組指標最敏感的使用者,也是輝達挑來背書的最合理人選。
AI 推論需求的分配正在改變各類硬體的行情,這個現象先前已經在中國零售市場現形:雙十一顯卡報價的分化顯示,推論與高階運算需求如何把旗艦卡的價格推向與中低階相反的方向。Vera 這份報告,可以視為同一股需求往資料中心 CPU 市場的延伸。
誰被這份成績單點名
最直接被點名的是 Intel 與 AMD。伺服器 CPU 市場長年由 x86 兩強分治,比較基準不脫核心數、時脈與每路價格;這份報告把比較基準換成「每瓦智慧體數量」,而且是在 AI 預算高速膨脹的當口換的。採購方接下來問 x86 業者的第一個問題,很可能就是這個欄位。
Arm 陣營的處境也跟著改變。超大規模資料中心用自研 Arm CPU 已行之有年,但那多半是雲端業者自用;這次是晶片商把 Arm 架構的伺服器 CPU 與 GPU 綁成平臺,直接對外出售。Vera 是輝達繼 Grace 之後第二款自研伺服器處理器,在產品藍圖上與 Rubin GPU 搭檔出貨。當智慧體讓 CPU 與 GPU 之間的切換變得頻繁,同一家公司把兩顆晶片一起設計、一起調度,這個敘事對採購方自然有說服力。
自測數據要打多少折扣
回到最基本的閱讀原則:這是廠商自測,有幾個地方需要保留。
「最快 x86 CPU」與「能效最高 x86 CPU」的具體型號與測試條件,公開節錄中並未完整揭露,兩個對照組很可能還是不同的處理器。在第三方以相同工作負載復現之前,1.6 倍與 2 倍都應視為輝達口徑。
早期合作方的數字,本質上是篩選後的結果。願意在產品週期出面背書的公司,通常是結果漂亮的那批;Perplexity 說計畫投入生產,這句話要到系統真的上線才算是數。
工作負載的選擇也站在 Vera 的主場。智慧體編排、沙盒啟動、高併發的小任務,正是高核心數架構最容易發揮的場景;企業資料中心裡大量的傳統資料庫與企業應用服務能不能拿到同等增幅,這份報告沒有回答。
Intel 與 AMD 不會安靜接受這組數字。兩強都有自己的伺服器藍圖與客戶基礎,可以預期接下來幾季會出現針鋒相對的對比測試。屆時「智慧體每瓦吞吐」會不會成為雙方都認帳的公共指標,比任何單一數字都值得看。
接下來可以核對的訊號
短期內有幾個具體檢查點。Perplexity 是否如期把 Vera 推進生產系統,是這波背書中唯一掛了時程的承諾。ClickBench 是公開排行榜,第三方遲早會用相同基準檢驗 ClickHouse 的結果。Intel 與 AMD 的回應測試何時出現、用什麼工作負載應戰,會揭示 x86 陣營打算把戰場設在哪裡。
更長期看,真正值得留意的是採購端的語言有沒有改變。當大型雲端業者與企業 IT 部門開始把「每瓦任務吞吐」寫進 CPU 採購文件,與核心數、時脈並列,這份指標才算真正站穩。到那個時候,伺服器 CPU 市場由 x86 兩強長期分治的格局,才會在 AI 的計分方式下迎來實際的壓力測試。
對一般讀者,這則新聞的意義可以收斂成一句話:AI 硬體競賽從此有兩條戰線,GPU 搶的是訓練與推理的算力,CPU 搶的是每瓦能執行多少任務。下次聽到 AI 基礎建設的消息,除了問裝了多少顆 GPU,也可以多問一句:這座機房的電,換到了多少工作量。