Giải pháp V-Die: Đột phá bộ nhớ AI với DRAM đặt dọc, tốc độ vượt HBM4 tới 82%

Theo tin từ IT ngày 11 tháng 7, trang tin công nghệ Tom's Hardware đã đăng tải bài viết vào hôm qua (10 tháng 7), đưa tin rằng tại Hội nghị chuyên đề về Công nghệ Mạch tích hợp quy mô lớn (VLSI) do IEEE / JSAP tổ chức vào tháng 6, các nhóm nghiên cứu đã đề xuất hai giải pháp tích hợp HBM là V-Die và MOSAIC nhằm giải quyết vấn đề tản nhiệt và nút thắt băng thông cho các bộ tăng tốc AI.

Ghi chú của IT: High Bandwidth Memory (HBM) là công nghệ bộ nhớ gần gói (near-package memory) dành cho các hệ thống tính toán hiệu năng cao và bộ tăng tốc AI. Công nghệ này sử dụng phương pháp xếp chồng nhiều lớp DRAM và kết nối với bộ xử lý ở khoảng cách gần thông qua bus siêu rộng, từ đó cung cấp băng thông cực cao với đường truyền dữ liệu ngắn. Các ứng dụng tiêu biểu bao gồm GPU, bộ tăng tốc huấn luyện và suy luận AI, các nút siêu máy tính và những kịch bản có lưu lượng xử lý cao khác.

Để giảm bớt nút thắt về tản nhiệt và băng thông của bộ nhớ HBM trên các bộ tăng tốc AI, các nhà nghiên cứu tại Viện Khoa học và Công nghệ Quốc gia Ulsan (UNIST) của Hàn Quốc đã đề xuất giải pháp V-Die, trong khi nhóm nghiên cứu dẫn đầu bởi Đại học Tokyo (Nhật Bản) đề xuất giải pháp MOSAIC.

Điểm chung của cả hai giải pháp là thay đổi cách sắp xếp chip DRAM từ kiểu xếp chồng theo chiều dọc truyền thống sang đặt nằm nghiêng, nhằm giảm bớt áp lực tản nhiệt do việc xếp chồng quá cao gây ra.

V-Die đặt các chip DRAM theo chiều dọc, loại bỏ TSV (Through-Silicon Via - lỗ xuyên silicon) và thay thế bằng kết nối I/O ở cạnh đáy của mỗi chip, đồng thời bổ sung các kênh làm mát bằng chất lỏng giữa các chip liền kề.

Nhóm nghiên cứu cho biết, khi so sánh với dung lượng của HBM4, V-Die đạt tốc độ 540 tokens/s trong khối lượng công việc quy mô GPT-3, trong khi HBM4 đạt 296 tokens/s, cao hơn 82,43%. Khoảng cách kết nối ở cạnh đáy của V-Die là 20 micromet, số lượng kết nối có thể gấp 4 lần HBM4 và thời gian đọc bộ nhớ giảm 37%.

Trong một mô phỏng xếp chồng 16 lớp tương thích với phần cứng cấp độ H100, giải pháp này đã giảm độ trễ Token đầu tiên xuống 32%, tương đương khoảng 24 mili giây. Về khả năng tản nhiệt, nhóm nghiên cứu cho biết hệ thống làm mát bằng vi lưu chất (microfluidic cooling) có thể duy trì nhiệt độ xếp chồng ở mức khoảng 45°C, thấp hơn nhiều so với mức trên 80°C thường thấy ở các hệ thống HBM mật độ cao.

Giải pháp MOSAIC do nhóm nghiên cứu dẫn đầu bởi Đại học Tokyo đề xuất, tập trung vào việc cải thiện khả năng sản xuất của phương pháp xếp chồng nằm nghiêng. Giải pháp này sử dụng cách xếp chồng chip vuông góc và kết nối chip không tiếp xúc, thay thế các điểm tiếp xúc tín hiệu kim loại đòi hỏi độ chính xác cao bằng các cuộn cảm siêu nhỏ.

Các nhà nghiên cứu cho biết tốc độ giao diện nguyên mẫu đạt tối đa 4 Gbps/kênh và có thể đạt dung lượng gấp 2 lần HBM4 trong cấu trúc DRAM-on-GPU.

Một bản trình diễn phần cứng bump-MOSAIC liên quan khác đã được tiết lộ tại hội nghị ECTC, sử dụng các vi điểm (micro-bump) có khoảng cách 100 micromet, với kết quả quét X-ray CT xác nhận sai số căn chỉnh xếp chồng được kiểm soát trong phạm vi dưới 6 micromet. Nhóm nghiên cứu cho biết cấu hình này đạt độ dẫn nhiệt gấp 3 lần so với phương pháp xếp chồng truyền thống và có thể tăng thêm tối đa 30% dung lượng bộ nhớ.

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin và tiết kiệm thời gian chọn lọc, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết của IT đều bao gồm tuyên bố này.