2026年9月10日

繁體中文
登入

NVIDIA Gelontorkan $20 Miliar untuk Groq: Menambal Kelemahan Inference AI

Menghadapi ancaman TPU Google, CEO NVIDIA Jensen Huang mengambil langkah tegas dengan berinvestasi $...

WEIWEI 2025年12月28日 來源: www.myzaker.com

Menghadapi ancaman TPU Google, CEO NVIDIA Jensen Huang mengambil langkah tegas dengan berinvestasi $20 miliar untuk bekerja sama dengan perusahaan chip Groq, bertujuan memperkuat kemampuan inference AI. Investor teknologi Gavin Baker menyoroti bahwa GPU memiliki bottleneck pada inference: tahap prefill cocok untuk paralelisme GPU, tetapi decode bersifat serial, dan performa GPU terbatas oleh memori HBM, membuat FLOPs sering tidak terpakai.

Chip LPU Groq menggunakan SRAM on-chip, 100x lebih cepat dari GPU, mampu memproses 300–500 token per detik dengan beban penuh. Namun, setiap LPU hanya memiliki memori 230MB; model besar memerlukan ratusan LPU, membutuhkan ruang data center lebih luas dibanding GPU dan biaya perangkat keras keseluruhan tinggi.

Langkah strategis ini memungkinkan NVIDIA tidak hanya meningkatkan teknologi, tetapi juga mempertahankan keunggulan: mengintegrasikan chip inference low-latency Groq memenuhi kebutuhan pasar AI yang berkembang. Kebangkitan TPU menunjukkan keterbatasan GPU dalam inference, dan Groq memberi NVIDIA dorongan penting untuk tetap memimpin di era AI.

接著讀