老黃 200 億美元出手 Groq：補上輝達推理短板

面對谷歌 TPU 的威脅，輝達 CEO 老黃（黃仁勳）果斷出手，斥資 200 億美元聯手熱門晶片公司 Groq，以補齊 AI 推理環節的短板。知名投資人 Gavin Baker 指出，GPU 在推理場景中存在延遲瓶頸：prefill 階段適合 GPU 並行處理，但 decode 階段是序列任務，GPU 受限於 HBM 儲存速度，算力常常閒置。

Groq LPU 晶片採用片上 SRAM 儲存，速度比 GPU 快 100 倍，每秒可處理 300–500 個 token，滿負荷執行下仍無瓶頸。但 LPU 記憶體容量僅 230MB，執行大型模型需要數百顆 LPU，相比 GPU 的高密度伺服器佔地更大，整體硬體投資依然巨大。

輝達此舉不僅是技術升級，更是戰略佈局：通過引入 Groq 的低延遲推理能力，抵禦競爭者蠶食護城河，開拓 AI 應用層市場。TPU 的崛起揭示了 GPU 在推理場景的不足，而 Groq 的加入為輝達在推理賽道提供了新動力。