Micron phát triển bộ nhớ NAND 'gần GPU' giúp mở rộng quy mô mô hình AI

Theo tin từ IT ngày 2 tháng 9, DigiTimes hôm nay đưa tin rằng Micron đang nghiên cứu các mô-đun bộ nhớ flash NAND có độ bền cao. Công ty dự định triển khai chúng ở vị trí gần GPU hơn, thay vì kết nối qua nhiều giao thức tới các kho lưu trữ nằm xa GPU như các giải pháp lưu trữ truyền thống.

Theo báo cáo, Micron đang khám phá cách đưa bộ nhớ flash NAND đến gần GPU hơn nữa, với hy vọng tạo ra một giải pháp cân bằng giữa mật độ lưu trữ và độ bền. Sản phẩm này hiện được gọi là "near-GPU NAND" (lưu ý của IT: NAND gần GPU), có thể được sử dụng để xử lý các khối lượng công việc không yêu cầu độ trễ thấp/băng thông cao.

Giải pháp này cho phép GPU truy cập trực tiếp vào kho lưu trữ NAND hàng trăm GB, có thể đặt trực tiếp bên trong gói GPU hoặc trên PCB, hoạt động tương tự như các giải pháp HBM, GDDR7. So với TLC hoặc QLC NAND truyền thống, các chip NAND này có mật độ lưu trữ thấp hơn, tập trung vào việc cải thiện tốc độ I/O và băng thông.

Lớp lưu trữ này nằm giữa bộ nhớ đồ họa (VRAM) và bộ nhớ thông thường, đóng vai trò như một lớp đệm tốc độ cao, do đó đặc biệt phù hợp để chạy các mô hình ngôn ngữ lớn (LLM) AI quy mô lớn hơn. Khi giải pháp này được triển khai, quá trình suy luận LLM sẽ không còn bị giới hạn bởi dung lượng bộ nhớ đồ họa nữa.