NVIDIA mở rộng NVLink Fusion, ra mắt công nghệ bộ nhớ tùy chỉnh NVHBM

Làn sóng AI tiếp theo đang đặt ra những yêu cầu mới đối với cơ sở hạ tầng.

Khi các AI agent và khối lượng công việc hàng nghìn tỷ tham số trở nên phổ biến, hiệu suất của cơ sở hạ tầng AI không chỉ phụ thuộc vào khả năng tính toán, mà còn vào cách thức tính toán, bộ nhớ, lưu trữ, mạng và phần mềm được thiết kế cùng nhau như một hệ thống thống nhất.

Để giúp các hyperscaler và các nhà đổi mới AI xây dựng thế hệ cơ sở hạ tầng AI bán tùy chỉnh tiếp theo, hôm nay NVIDIA đã mở rộng NVIDIA NVLink Fusion với NVIDIA NVHBM, một công nghệ bộ nhớ băng thông cao thế hệ mới mang lại hiệu suất và hiệu quả bộ nhớ cao hơn cho các XPU. Công nghệ này sẽ được xác thực và cung cấp bởi các đối tác bộ nhớ hàng đầu, mở rộng khả năng bộ nhớ tiên tiến này đến với các khách hàng của NVLink Fusion.

Các kiến trúc HBM truyền thống đặt bộ điều khiển bộ nhớ trên đế XPU, tiêu tốn diện tích silicon quý giá vốn có thể được dành cho việc tính toán. NVHBM, được xây dựng trên cùng công nghệ mà NVIDIA sẽ sử dụng cho các GPU tương lai, tích hợp bộ điều khiển bộ nhớ tùy chỉnh của NVIDIA vào đế cơ sở HBM.

Bằng cách tích hợp bộ điều khiển bộ nhớ vào chồng HBM 3D thay vì trên XPU, NVHBM mang lại băng thông bộ nhớ lớn hơn tới 30% và mức tiêu thụ điện năng HBM thấp hơn 15%, đồng thời giải phóng thêm tới 25% diện tích trên đế tính toán XPU so với chuẩn HBM4E thông thường.

NVIDIA đang thiết lập một tiêu chuẩn triển khai NVHBM, có sẵn từ nhiều nhà cung cấp bộ nhớ. Điều này giúp giảm bớt nỗ lực kỹ thuật cần thiết để tích hợp và kiểm định bộ nhớ từ nhiều nhà cung cấp — mang đến cho khách hàng NVLink Fusion lộ trình nhanh hơn để đưa các chip AI tùy chỉnh ra thị trường.

Annapurna Labs của Amazon sẽ là đơn vị đầu tiên làm việc với NVHBM trong khuôn khổ hợp tác rộng lớn hơn với NVIDIA xoay quanh NVLink Fusion.

AWS và NVIDIA tiếp tục hợp tác về NVLink Fusion

Annapurna Labs của Amazon sẽ hợp tác với NVIDIA về công nghệ NVHBM và kiến trúc mở rộng quy mô NVLink để nâng cao hiệu suất và hiệu quả cho các khối lượng công việc AI.

Điều này tiếp nối sự hỗ trợ đã được công bố trước đó của AWS dành cho NVLink Fusion. Annapurna Labs sẽ hỗ trợ NVLink Fusion với các chip Trainium thế hệ tiếp theo, bắt đầu từ Trainium4, cho phép chip của Amazon và GPU của NVIDIA hoạt động cùng nhau với kiến trúc quy mô rack chung.

“NVHBM đại diện cho một cách tiếp cận kiến trúc mới nhằm thúc đẩy hiệu suất và hiệu quả của bộ nhớ băng thông cao,” Nafea Bshara, phó chủ tịch của Annapurna Labs tại Amazon cho biết. “Chúng tôi mong đợi sự hợp tác công nghệ này sẽ mang lại lợi ích cho các thiết kế cơ sở hạ tầng AWS trong tương lai.”

Tích hợp theo chiều dọc và mở theo chiều ngang

NVLink Fusion cho phép các đối tác kết nối các XPU và CPU tùy chỉnh với nền tảng quy mô rack của NVIDIA.

Các đối tác có thể tiếp cận các chiplet NVIDIA NVLink, NVLink-C2C, các bộ chuyển mạch NVLink và các hệ thống cũng như rack NVIDIA MGX, cùng với một hệ sinh thái rộng lớn gồm các đối tác CPU, nhà thiết kế ASIC, nhà sản xuất hệ thống và nhà cung cấp công nghệ.

Được cung cấp cùng với mỗi thế hệ kiến trúc hệ thống quy mô rack của NVIDIA, NVLink Fusion cho phép các hyperscaler và các công ty AI-native tập trung nguồn lực kỹ thuật vào đổi mới XPU trong khi vẫn sử dụng một ngăn xếp công nghệ đã được kiểm chứng cho việc mở rộng quy mô (scale-up và scale-out) mạng, hệ thống quy mô rack và phần mềm — tạo ra một lộ trình nhanh hơn, ít rủi ro hơn để triển khai cơ sở hạ tầng AI bán tùy chỉnh.

Tìm hiểu thêm về NVLink và NVLink Fusion.