d-Matrix tích hợp NVIDIA NVLink Fusion để triển khai XPU quy mô rack

Nhà sản xuất chip suy luận AI d-Matrix hôm nay thông báo họ sẽ sử dụng NVIDIA NVLink Fusion để kết nối các XPU Raptor thế hệ mới của mình với nền tảng hạ tầng AI của NVIDIA — gia nhập danh sách ngày càng dài các đối tác trong hệ sinh thái.

Bằng cách kết nối Raptor với mạng lưới mở rộng quy mô NVIDIA NVLink và mạng lưới quy mô ngang Spectrum-X, kiến trúc rack NVIDIA MGX cùng nền tảng AI rộng lớn của NVIDIA, NVLink Fusion mang đến cho d-Matrix một lộ trình tăng tốc, giảm thiểu rủi ro từ silicon tùy chỉnh đến triển khai quy mô lớn.

"Nhu cầu về suy luận đang tăng vọt, nhưng vốn, thời gian và năng lượng vẫn là hữu hạn," Sid Sheth, đồng sáng lập kiêm CEO của d-Matrix cho biết trong một buổi họp báo hôm qua. "Với NVLink Fusion và MGX, chúng tôi có thể tích hợp các XPU Raptor của mình vào một kiến trúc làm mát bằng chất lỏng được triển khai rộng rãi, mang đến cho khách hàng lộ trình nhanh hơn, ít rủi ro hơn để triển khai và mở rộng quy mô suy luận có độ trễ cực thấp." Nền tảng AI của NVIDIA được tích hợp theo chiều dọc và mở theo chiều ngang. NVLink Fusion mở rộng sự cởi mở này sang các XPU và CPU, cho phép các công ty sản xuất silicon tập trung vào những đổi mới bộ xử lý của họ trong khi vẫn sử dụng hạ tầng của NVIDIA để triển khai chúng ở quy mô nhà máy AI.

Từ Silicon Tùy chỉnh đến Triển khai Quy mô Rack

NVLink Fusion — Tham khảo nhanh

NVIDIA NVLink Fusion là gì?

Nền tảng của NVIDIA để tích hợp các XPU và CPU tùy chỉnh của bên thứ ba với mạng lưới mở rộng quy mô NVLink, kiến trúc rack MGX và toàn bộ nền tảng nhà máy AI — bao gồm tính toán, mạng lưới, lưu trữ, bảo mật, nguồn điện, làm mát và phần mềm.

Nó giải quyết vấn đề gì?

Xây dựng một XPU tùy chỉnh rất khó. Triển khai nó ở quy mô lớn còn khó hơn. NVLink Fusion cho phép các nhà sản xuất XPU bỏ qua việc xây dựng hạ tầng quy mô rack từ đầu và kết nối trực tiếp vào nền tảng nhà máy AI đã được kiểm chứng và triển khai toàn cầu của NVIDIA.

Nó nhanh đến mức nào?

Độ trễ XPU-to-XPU thấp hơn 3 lần so với Ethernet thương mại, tốc độ gói tin cao hơn 10 lần và băng thông all-to-all đạt 3 TB/s mỗi XPU thông qua NVLink thế hệ thứ sáu.

Các đối tác là ai?

d-Matrix, AWS, Arm, Intel, Fujitsu, SiFive, Alchip, Astera Labs, GUC, Marvell, MediaTek, Samsung, Cadence, Synopsys, Ayar Labs và Lightmatter.

Nó hỗ trợ các kiến trúc CPU nào?

Tất cả các kiến trúc CPU chính — Arm, x86 và RISC-V — cùng với các GPU của NVIDIA.

Nhà máy AI bán tùy chỉnh là gì?

Một nhà máy AI bán tùy chỉnh kết hợp hạ tầng đã được kiểm chứng của NVIDIA với XPU tùy chỉnh của đối tác. NVLink Fusion cung cấp khả năng kết nối, kiến trúc rack, phần mềm và chuỗi cung ứng; đối tác tập trung vào silicon khác biệt.

Xây dựng một XPU chỉ là bước đầu tiên. Triển khai nó ở quy mô nhà máy AI đòi hỏi một nền tảng hoàn chỉnh bao gồm mạng lưới, kiến trúc rack, nguồn điện, làm mát, phần mềm và một chuỗi cung ứng đã được kiểm chứng. Mỗi bước — tìm nguồn chip, tích hợp giao diện tốc độ cao, xác thực giải pháp mạng lưới mở rộng quy mô, thiết kế và chứng nhận kiến trúc rack — đều làm tăng thời gian, chi phí và rủi ro.

NVLink Fusion cho phép các nhà đổi mới silicon kết nối trực tiếp vào nền tảng đã được kiểm chứng của NVIDIA. Đây là công nghệ băng thông cao, độ trễ thấp giúp kết nối các XPU và CPU tùy chỉnh vào hệ thống của NVIDIA.

Bằng cách áp dụng NVLink Fusion, d-Matrix có thể tận dụng các thiết kế rack trưởng thành, đã được xác thực, chuỗi cung ứng, hạ tầng nguồn điện và làm mát của hệ sinh thái NVIDIA MGX. Bằng cách tiêu chuẩn hóa trên một rack chung, các trung tâm dữ liệu có thể được xây dựng một lần và hỗ trợ cả GPU, CPU và XPU — mà không cần kiến trúc rack riêng biệt cho từng loại bộ xử lý.

NVLink Fusion tích hợp các XPU của d-Matrix vào các nhà máy AI

Sử dụng NVIDIA NVLink, d-Matrix dự định kết nối các XPU của mình trong một miền mở rộng quy mô băng thông cao, độ trễ thấp duy nhất. Các rack của hãng cũng có thể hoạt động cùng với các hệ thống dựa trên GPU NVIDIA như NVIDIA Vera Rubin NVL72 để suy luận phân tách.

d-Matrix cũng có kế hoạch tích hợp các CPU NVIDIA Vera, NVIDIA ConnectX-9 SuperNICs, NVIDIA BlueField-4 DPUs và mạng lưới Ethernet NVIDIA Spectrum-X. Cùng với NVLink và MGX, các công nghệ này mang đến cho d-Matrix một nền tảng đã được kiểm chứng để triển khai suy luận chuyên biệt cùng với các hệ thống NVIDIA trong các nhà máy AI linh hoạt, thống nhất.

NVLink Fusion mở ra các nhà máy AI của NVIDIA cho các kiến trúc XPU chuyên biệt

Nền tảng nhà máy AI full-stack của NVIDIA bao gồm NVIDIA Vera Rubin NVL72, Groq 3 LPX, rack CPU Vera, lưu trữ Vera BlueField-4 STX và mạng lưới Ethernet Spectrum-6 SPX. Nó được thiết kế để có khả năng thay thế hoàn toàn — chạy mọi khối lượng công việc, mô hình và kiến trúc mô hình AI — với hiệu suất trên mỗi watt tốt nhất và chi phí trên mỗi token thấp nhất.

NVLink Fusion mang đến cho khách hàng sự linh hoạt để khớp đúng loại tính toán với từng khối lượng công việc trong một nền tảng nhà máy AI chung, mở ra quyền truy cập vào mạng lưới, hệ thống, phần mềm và chuỗi cung ứng toàn cầu của NVIDIA. Các nhà đổi mới silicon như d-Matrix có thể sử dụng NVLink Fusion để tăng hiệu suất, đẩy nhanh thời gian đưa sản phẩm ra thị trường và giảm rủi ro khi triển khai các nhà máy AI bán tùy chỉnh.