Sản phẩm
Thử nghiệm DeepSeek R1 trên NVIDIA Vera Rubin NVL72: Hiệu suất năng lượng tăng gấp 10 lần
(giờ Việt Nam)
Tóm tắt AI
NVIDIA công bố Vera Rubin NVL72 đạt hiệu suất xử lý token trên mỗi megawatt cao gấp 10 lần so với GB200 NVL72 khi chạy mô hình suy luận DeepSeek R1, đánh dấu bước tiến lớn trong hạ tầng AI quy mô nghìn tỷ tham số.
Bản dịch AI
Cảm ơn bạn đọc "" của IT đã gửi thông tin đóng góp!
Theo tin từ IT ngày 22 tháng 7, NVIDIA đã đăng tải một bài viết vào hôm qua (21 tháng 7), thông báo rằng kiến trúc Vera Rubin của hãng đang tiến những bước dài tới quy mô triển khai hàng nghìn tỷ tham số.
Trong bài viết, NVIDIA cho biết công ty đang đẩy nhanh quá trình sản xuất hàng loạt Vera Rubin NVL72 và hệ thống này hiện đã được vận hành nội bộ tại các đối tác như CoreWeave, Google Cloud, Microsoft Azure và Oracle Cloud Infrastructure.
NVIDIA cho biết để đáp ứng nhu cầu tính toán của khách hàng toàn cầu, Vera Rubin sở hữu hơn 350 nhà máy tại 30 quốc gia, thiết lập nên chuỗi cung ứng cấp rack lớn nhất và hoàn thiện nhất từ trước đến nay.
Công ty CoreWeave cũng đã đăng tải bài viết vào hôm qua (21 tháng 7), cho biết họ đã hoàn thành việc cấp nguồn và xác thực NVIDIA Vera Rubin NVL72 đầu tiên trong ngành vào đầu tháng 6, đồng thời xây dựng thành công hệ thống cấp rack đầu cuối, bao gồm nguồn điện, làm mát, mạng và tính toán đều đã được xác thực và đưa vào vận hành.
Nội dung bài viết được IT lược dịch như sau:
DeepSeek R1 là một trong những mô hình suy luận thúc đẩy sự bùng nổ của AI tác tử (Agentic AI) hiện nay, vì vậy sau khi triển khai Vera Rubin NVL72 và NVIDIA Blackwell NVL72, chúng tôi đã thực hiện các bài kiểm tra liên quan dựa trên mô hình này.
Trong đợt đánh giá thử nghiệm này, chúng tôi tập trung vào mối quan hệ giữa lưu lượng token trên mỗi megawatt (token throughput per megawatt) và tính tương tác (TPS/user, thể hiện tốc độ phản hồi mà người dùng hoặc tác tử trải nghiệm khi mô hình xử lý tác vụ).
Với mục tiêu tương tác tương đương và cùng khối lượng công việc DeepSeek R1, so với NVIDIA GB200 NVL72, Vera Rubin NVL72 mang lại hiệu suất lưu lượng token trên mỗi megawatt cao gấp 10 lần.
Thông báo quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian sàng lọc, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết trên IT đều bao gồm thông báo này.
Bài viết được AI dịch và tổng hợp tự động từ IT Home ITHome. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.