為了突破記憶體牆與百千瓦散熱瓶頸，谷歌、亞馬遜、微軟與Meta在新世代產品中，全數轉向高密度全液冷整機櫃交付。這場硬體型態革命不僅改寫雲端算力規則，還引爆台灣伺服器與散熱供應鏈的價值大升級。


【文／魏聖峰】


今年以前北美四大CSP業者砸下數千億美元資本支出建資料中心，很大一部分都轉化為Nvidia高達75%毛利。今年四大CSP業者的自研晶片越來越成熟，逐漸扛起資料中心的核心運算主力。更關鍵的硬體變化是，AI ASIC競爭已全面升級為動輒100kW以上，並整合數十到上百顆晶片的全液冷整機櫃系統。從IP、晶圓代工、先進封裝到整機櫃液冷組裝，牽動全球半導體與伺服器供應鏈重組。


今年以前雲端資料中心內，大多以訓練數億參數基礎模型為主，從今年起全面跨入推論優先的商業變現模式。訓練一個前沿基礎模型要動用到數萬顆頂級晶片好幾個月，並屬於一次性的資本投入。反觀現在每天服務數十億用戶的搜尋摘要、程式碼生成、即時語音互動以及需要自主規劃和多步驟反思的代理式AI（Agentic AI），每次回答的背後都要生成數千甚至數萬個隱藏Token。根據業界統計，今年大型雲端機房已有超過七成的電力和算力消耗在推論的工作負載上。四大CSP業者在今年推出的自研ASIC上，直接定義用在推論。

訓練和推理合為一體的晶片


谷歌在去年發表的TPU v7（Ironwood）時直接定義為首款專為推論時代設計的TPU。微軟今年初發表的Maia 200與最新公布的Maia 300中，也捨棄傳統訓練邏輯，全面針進行硬體最佳化，讓微軟在運行自家Copilot與OpenAI模型時，每瓦特電力產出的Token數量較商用GPU大幅提升1.7倍以上。亞馬遜把Trainium 3和Trainium 4定義為專為代理式AI與把極致Token經濟學打造的訓練和推理合為一體的主力晶片。Meta把MTIA 300/400/450/500定義為，拒絕將訓練晶片降維拿來做推論，全面轉向推論優先與兩年四代敏捷硬體。對CSP業者而言，訓練大語言模型固然重要，是在業界維持領先的必要條件，代理式AI才能吸引更多客戶，是將AI變現的最重要途徑。


四大CSP業者從今年到28年的技術藍圖，他們要解決的問題是記憶體牆，而非算力（FLOPS）。因為當模型生成一個新的Token，都必須將龐大的模型權重不斷膨脹的鍵值快取（KV Cache），從HBM邊運到運算核心。如果記憶體容量太小或頻寬不足，算力再高的晶片也只能處於閒置等待狀態。所以今年ASIC晶片普遍採用台積電三奈米製程加上HBM3e，包括谷歌TPU v7、AWS Trainium 3、微軟Maia 200，將單顆記憶體推升到144～216GB區間，頻寬落在4.9～7.4TB/s。到了明年量產的下一代產品，將進一步推升到二奈米加上HBM4（288GB），包括谷歌TPU v8、AWS Trainium 4與微軟Maia 300。其中，微軟Maia 300透過搭載八顆HBM4堆疊，率先將單顆晶片記憶體頻寬推升到18TB/s，較前代暴增超過2.5倍，來正面挑戰長文本（Long-context）與即時多模態推論的頻寬極限。


四大CSP的ASIC設計都朝向先進製程與高容量HBM邁進，並放棄過去的單張加速卡或單台2U/4U伺服器的交付模式，而是全數走向整機櫃化（Rack-Scale System），這並非單純為了外觀整齊或方便管理，而是被大模型記憶體容量、高速銅線物理限制、上百千瓦級散熱以及供電等五個硬體物理定律給逼出來的結果。首先，在混合專家模型（GPT-5、Claude 4、Genini 3）與長上下文的推論時代，一次運算往往需要10TB到25TB以上的HBM。

物理極限走向機櫃化


然而，受限台積電CoWoS封裝晶圓曝光面積極限，使用最先進製程的谷歌TPU v7、AWS Trainium 4或微軟Maia 300，單顆晶片最多也只能封裝192GB～288GB的HBM。解決方案就是必須把48顆、64顆、96顆甚至144顆ASIC用超高網路綁在一起，讓它們在軟體平台上看起就像是用同一顆擁有20TB記憶體的超大晶片。這種需要數十顆晶片共享記憶體的架構稱為垂直擴展（Scale-up）。乘載這個擴展領域最小的物理容器，就是一個標準伺服器機櫃。（全文未完）



全文及圖表請見《先探投資週刊2427期精彩當期內文轉載》
◎封面故事：PCB價值鏈起飛　股價蓄勢反攻
◎特別企劃：金融股坐擁獲利與股息雙題材
◎國際趨勢：馬國經濟受AI熱潮庇蔭
◎中港直擊：吉利汽車致力開拓電動車
【最新活動看板】
◎【先探講堂】莊爸飆股學習營－看懂洗盤暗號，精準抓住起漲點！
◎【先探講堂】先探×蔡明翰－台股產業投資專修班
◎加入先探i投資YouTube頻道會員！搶先觀看最新投資速報
◎先探﹝紙本雜誌有效訂戶﹞專屬影音服務！掌握最新投資訊息
◎下載財訊快報APP，每日重要財經訊息不漏接
◎生技女王投資勝經臉書粉絲團歡迎按讚追蹤
◎先探一年52期送「川井電通 無線肩頸按摩器KWT-01G」乙台
◎先探一季13期送《贏過大盤的順勢交易》乙本