Siêu máy chủ NVIDIA Rubin Ultra có giá dự kiến 21 triệu USD, chi phí HBM4e chiếm tỷ trọng khổng lồ

Theo thông tin từ IT ngày 9 tháng 7, giá của các máy chủ AI thế hệ tiếp theo Rubin và Rubin Ultra của NVIDIA sẽ cao đến mức đáng kinh ngạc, trong đó một phần chi phí đáng kể đến từ bộ nhớ.

Với việc giá DRAM tăng cao cùng chi phí thiết bị bán dẫn liên tục leo thang, giá bán của máy chủ Rubin sẽ bị đẩy lên mức chưa từng có. Nếu như máy chủ Blackwell đã đủ đắt đỏ, thì thế hệ Rubin sẽ đẩy chi phí cho mỗi máy chủ lên mức cao kỷ lục trong lịch sử.

Theo ước tính từ BofA Global Research (Bank of America Global Research), cơ cấu chi phí của các tủ rack Rubin và Rubin Ultra cho thấy giá bán tổng thể sẽ tăng mạnh, và nguyên nhân lớn nhất chính là sự gia tăng đáng kể chi phí của HBM (bộ nhớ băng thông cao).

Trước tiên hãy xem cấu hình cơ bản của tủ rack Rubin NVL72. Tủ rack NVL72 của NVIDIA có tên mã là Oberon, bao gồm 72 GPU và 36 CPU.

Một khay (tray) Vera Rubin bao gồm: 4 GPU Rubin và 2 CPU Vera. Mỗi bo mạch chủ (Superchip) tích hợp 2 GPU và 1 CPU, toàn bộ tủ rack NVL72 được trang bị 36 Superchip, do đó tổng cộng sở hữu: 72 GPU và 36 CPU; mỗi GPU Rubin được trang bị 288GB HBM4, trong khi mỗi CPU Vera được trang bị 1.5TB bộ nhớ LPDDR5X. Vì vậy, một máy chủ Rubin NVL72 sở hữu tổng cộng: 20.7TB HBM4 và 54TB LPDDR5X.

Ngoài ra, toàn bộ hệ thống còn bao gồm nhiều thành phần khác như chuyển mạch mạng, tản nhiệt bằng chất lỏng, nguồn điện và các kết nối liên thông.

Trước đó, bộ phận nghiên cứu của Morgan Stanley từng công bố ước tính BOM (Danh mục vật liệu) cho tủ rack Rubin VR200 (Oberon), bao gồm chi phí GPU, CPU, bộ nhớ và các cơ sở hạ tầng khác.

Theo tính toán mới nhất của Bank of America, cấu hình tủ rack Rubin VR200 (Oberon) bao gồm: 72 GPU Rubin V200, mỗi GPU được trang bị 288GB HBM4, tổng cộng mỗi tủ rack có 20.736GB HBM4. Chỉ riêng chi phí bộ nhớ HBM4 đã lên tới 382.000 USD, và con số này chưa bao gồm chi phí bộ nhớ LPDDR5X.

Chi phí của HBM4 vào khoảng 18,40 USD/GB, trong khi Blackwell sử dụng HBM3e với chi phí khoảng 11,26 USD/GB. Điều này có nghĩa là chi phí HBM của Rubin cao hơn gấp đôi so với Blackwell, với chi phí mỗi GB HBM tăng từ 11,26 USD lên 18,40 USD.

Về giá bán toàn bộ máy, Blackwell NVL72 có giá khoảng 3 triệu USD/tủ rack, Rubin NVL72 khoảng 6 triệu USD/tủ rack, trong đó chỉ riêng bộ nhớ HBM đã chiếm 6,4% tổng chi phí của máy chủ Rubin.

Giá của Rubin Ultra còn gây sốc hơn, mỗi GPU Rubin Ultra V300 sẽ được trang bị 576GB HBM4e, trong khi tủ rack NVL144 (tên mã Kyber) sử dụng 144 GPU, tổng dung lượng HBM4e của toàn bộ máy đạt 82.944GB (khoảng 81TB). Mặc dù chi phí mỗi GB của HBM4e dự kiến tương đương với Rubin cơ bản, ở mức 18,49 USD/GB, nhưng do dung lượng tăng gấp đôi, chi phí HBM cho mỗi tủ rack sẽ vọt lên 1,534 triệu USD, cao hơn khoảng 4 lần so với Rubin thông thường và gần 5 lần so với Blackwell Ultra. Về giá bán, Blackwell Ultra có giá khoảng 4 triệu USD/tủ rack, còn Rubin Ultra khoảng 21 triệu USD/tủ rack (IT lưu ý: tỷ giá hiện tại tương đương khoảng 143 triệu Nhân dân tệ), với chi phí HBM chiếm khoảng 7,3% giá bán toàn bộ máy.

Chi phí xây dựng và vận hành cũng đáng kinh ngạc. Theo tính toán của Foxconn, việc xây dựng một trung tâm dữ liệu AI sử dụng nền tảng Vera Rubin sẽ đòi hỏi chi phí đầu tư hơn 47 tỷ USD cho mỗi 1GW quy mô tính toán. Ngoài ra, tiền điện hàng năm dự kiến lên tới 1,3 tỷ USD, điều này có nghĩa là Rubin không chỉ có chi phí mua sắm cực cao mà chi phí vận hành và bảo trì sau đó cũng rất khủng khiếp.

Tuy nhiên, NVIDIA cho rằng mặc dù đầu tư ban đầu rất lớn, nền tảng Rubin vẫn có thể đạt được tổng chi phí sở hữu (TCO) và chi phí trên mỗi Token thấp nhất trong ngành nhờ hiệu suất AI vượt xa các đối thủ.

Xét đến nhu cầu tính toán AI hiện đang bùng nổ, ngành công nghiệp dự đoán nhu cầu thị trường đối với Rubin sẽ vượt xa Blackwell. Hiện tại, nhiều doanh nghiệp AI hàng đầu đã bắt đầu triển khai các hệ thống Vera Rubin đầu tiên, và khi nền tảng Rubin bước vào giai đoạn sản xuất hàng loạt, thế giới sẽ sớm thấy lý do tại sao các công ty AI này sẵn sàng đầu tư hàng tỷ USD để xây dựng các trung tâm dữ liệu AI quy mô lớn.

Tuyên bố quảng cáo: Các liên kết ngoài (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) trong bài viết được sử dụng để truyền tải thêm thông tin và tiết kiệm thời gian lựa chọn, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết trên IT đều bao gồm tuyên bố này.