NVIDIA mở mã nguồn cuFile API: Biến SSD thành bộ nhớ đệm GPU, xóa bỏ tình trạng giật lag

Theo tin từ IT ngày 7 tháng 8, trang tin công nghệ siliconangle đã đăng tải bài viết vào ngày 5 tháng 8 cho biết NVIDIA đang phát triển một công nghệ mới, cho phép SSD đóng vai trò như bộ nhớ đồ họa (VRAM) bổ sung trong tương lai, từ đó cải thiện hiệu suất vận hành trong các tác vụ chơi game hoặc AI.

Tại hội nghị an ninh mạng Black Hat 2026 diễn ra ở Las Vegas, Mỹ (từ ngày 1 đến ngày 6 tháng 8), NVIDIA đã công bố mã nguồn mở cho cuFile API và ngăn xếp phần mềm lưu trữ nền tảng của mình.

Lưu ý từ IT: cuFile API là thành phần giao diện trong công nghệ NVIDIA GPUDirect Storage, được sử dụng để cho phép các ứng dụng truy cập vào khả năng lưu trữ kết nối trực tiếp với GPU, với mục tiêu giúp dữ liệu lưu trữ đến được GPU trong thời gian tính bằng mili giây.

GPUDirect Storage là công nghệ cho phép các thiết bị lưu trữ truyền dữ liệu trực tiếp tới GPU. Quy trình truyền thống yêu cầu dữ liệu phải được đọc vào bộ nhớ đệm tạm thời của hệ thống trước khi sao chép sang bộ nhớ GPU; công nghệ này nhằm giảm bớt bước trung chuyển qua bộ nhớ hệ thống, từ đó giảm độ trễ và tăng tốc độ truy cập dữ liệu.

cuFile được phát hành cùng với CUDA Toolkit 11.4 vào tháng 7 năm 2021. Công nghệ này cho phép lưu trữ phân tán cục bộ trao đổi dữ liệu trực tiếp với bộ nhớ GPU, bỏ qua CPU và bộ nhớ hệ thống, nhờ đó giảm độ trễ truy cập bộ nhớ.

Về đường dẫn dữ liệu, cuFile dựa vào DMA (Direct Memory Access - Truy cập bộ nhớ trực tiếp) để đưa dữ liệu từ các thiết bị lưu trữ như ổ cứng NVMe (Non-Volatile Memory express) trực tiếp vào bộ nhớ GPU.

Suy luận AI (AI inference) chủ yếu phụ thuộc vào GPU và các card tăng tốc chuyên dụng. Nếu băng thông dữ liệu bị tắc nghẽn, một số GPU trong mảng GPU phân tán sẽ rơi vào trạng thái nhàn rỗi do phải chờ dữ liệu, dẫn đến vấn đề "GPU starvation" (GPU bị bỏ đói). NVIDIA cho biết, độ trễ thấp ở mức mili giây có thể giúp các mô hình RAG (Retrieval-Augmented Generation) và AI tác tử (AI agents) đọc các tập dữ liệu lớn từ bộ nhớ sâu nhanh hơn.

NVIDIA cũng đã công bố sáng kiến ngành Storage-Next (Lưu trữ thế hệ tiếp theo). Sáng kiến này bao gồm 40 nhà sản xuất lưu trữ và bộ nhớ flash hàng đầu, trong đó có DataDirect Networks, Kioxia và Micron Technology.