NVIDIA ra mắt NVHBM: Bộ nhớ băng thông cao tùy chỉnh, hiệu năng vượt trội 30% so với HBM4e

Theo thông tin từ IT ngày 27 tháng 8, dự án NVLink Fusion của NVIDIA cung cấp cho các đối tác những thành phần cơ bản cần thiết để kết nối các con chip tùy chỉnh vào miền mở rộng NVLink, từ đó liên kết nhiều bộ xử lý độc lập thành một hệ thống tính toán thống nhất, ví dụ như bộ tăng tốc cấp rack Vera Rubin NVL72. Hiện nay, NVIDIA đã bổ sung thêm một thành phần cơ bản mới vào bộ công cụ này: NVHBM. Đây là phiên bản tùy chỉnh của bộ nhớ băng thông cao (HBM), vốn đã trở thành thành phần cốt lõi trong hầu hết các bộ tăng tốc AI hiện nay.

NVIDIA cho biết, NVHBM sử dụng đế (base die) HBM tùy chỉnh, giúp cung cấp băng thông cao hơn, tiêu thụ điện năng thấp hơn và diện tích chip nhỏ hơn so với HBM4e truyền thống. NVIDIA khẳng định NVHBM đã được thiết kế và kiểm chứng cùng với các "nhà sản xuất bộ nhớ hàng đầu", vì vậy đối với các nhà phát triển chip tùy chỉnh, NVHBM hứa hẹn sẽ giúp họ tung ra sản phẩm nhanh hơn so với việc sử dụng HBM tiêu chuẩn từ con số không. Tuy nhiên, cần nhấn mạnh rằng NVHBM không phải là sản phẩm thay thế cho HBM, mà là một thành phần cơ bản hoàn toàn mới được NVIDIA cung cấp riêng cho các đối tác sản xuất chip tùy chỉnh.

Theo tìm hiểu của IT, đối với các bộ tăng tốc AI, băng thông bộ nhớ là yếu tố cực kỳ quan trọng. NVIDIA cho biết, so với HBM4e tiêu chuẩn, băng thông trên mỗi chồng bộ nhớ của NVHBM có thể tăng tới 30%. Đối với các tác vụ AI bị giới hạn bởi băng thông bộ nhớ, băng thông cao hơn đồng nghĩa với thông lượng cao hơn, chẳng hạn như trong các kịch bản suy luận AI, nó có thể tăng số lượng Token được tạo ra mỗi giây.

Đế cơ bản tùy chỉnh của NVHBM cũng giúp giảm diện tích chiếm dụng của các mạch liên quan đến bộ nhớ trên đế silicon chính của bộ tăng tốc. Các giải pháp truyền thống thường tích hợp bộ điều khiển bộ nhớ HBM trên đế silicon chính trong gói đóng gói, trong khi NVHBM chuyển bộ điều khiển bộ nhớ vào đế cơ bản của chồng HBM, đồng thời cung cấp PHY (giao diện lớp vật lý) tùy chỉnh nhỏ gọn hơn. Khách hàng của NVLink Fusion có thể tích hợp PHY này vào thiết kế chip của riêng họ.

NVIDIA cho biết thiết kế này giúp giải phóng không gian đóng gói quý giá, cho phép các nhà sản xuất dành nhiều diện tích hơn cho các chức năng tính toán, giúp tăng tới 30% tài nguyên tính toán trên đế silicon chính. Ngoài ra, đối với các thiết kế sử dụng công nghệ đóng gói tiên tiến cần kết nối nhiều chip với nhau, NVHBM còn có thể đơn giản hóa việc đi dây trên lớp trung gian (interposer).

So với việc sử dụng trực tiếp các chồng HBM4e thương mại, NVHBM còn có khả năng giảm tiêu thụ điện năng. Trong quá trình công bố Vera Rubin, NVIDIA luôn nhấn mạnh rằng đối với bộ tăng tốc AI, mỗi watt điện không được sử dụng để tạo ra Token đều là sự lãng phí. NVIDIA cho biết mức tiêu thụ điện năng của NVHBM thấp hơn 15% so với HBM4e thương mại tiêu chuẩn. Lượng điện năng tiết kiệm được này có thể dùng để tăng hiệu suất trên mỗi watt, hoặc phân bổ lại cho các đơn vị chức năng khác trong bộ tăng tốc tùy chỉnh, hoặc đạt được hiệu suất duy trì cao hơn trong cùng một ngân sách điện năng.

Đối với các bộ tăng tốc AI cần vận chuyển lượng lớn dữ liệu giữa các con chip, việc tăng băng thông bộ nhớ trong khi giảm tiêu thụ điện năng mang lại giá trị rất lớn. Những dữ liệu này bao gồm các cấu trúc dữ liệu quy mô lớn như trọng số mô hình và KV Cache. Đặc biệt trong các hệ thống gồm hàng nghìn con chip, lượng điện năng tiết kiệm được trên mỗi chip sẽ trở nên vô cùng đáng kể. Năng lượng vốn dùng cho việc truyền tải dữ liệu có thể được tái sử dụng để nâng cao hiệu suất của chính bộ tăng tốc, hoặc hỗ trợ triển khai thêm nhiều bộ tăng tốc hơn trong giới hạn tổng công suất cố định.

Tuy nhiên, ở thời điểm hiện tại, những ưu điểm này chủ yếu là lý do để các đối tác tiềm năng trong tương lai của NVIDIA cân nhắc sử dụng NVLink Fusion và NVHBM trong thiết kế chip tùy chỉnh, thay vì là những lợi ích thực tế đã có thể đạt được trong các hệ thống cấp rack Rubin đang được sản xuất hàng loạt.

Cùng với việc công bố NVHBM, NVIDIA cũng thông báo rằng Annapurna Labs thuộc Amazon sẽ trở thành đối tác đầu tiên của NVHBM. Nafea Bshara, Phó chủ tịch của Annapurna Labs, cho biết: "Chúng tôi mong đợi sự hợp tác công nghệ này sẽ mang lại những đóng góp hữu ích cho việc thiết kế cơ sở hạ tầng AWS trong tương lai."

Chip AI Trainium 4 thế hệ tiếp theo của Annapurna Labs đã hỗ trợ giao diện mở rộng NVLink Fusion, vì vậy rất có khả năng các dòng chip sau này cũng sẽ hỗ trợ NVHBM.