NVIDIA mở mã nguồn cuFile API: Đột phá tốc độ truy xuất dữ liệu trực tiếp cho GPU

Nhu cầu AI tăng vọt đang thúc đẩy đòi hỏi về các tập dữ liệu khổng lồ và cửa sổ ngữ cảnh (context windows) vượt xa giới hạn của bộ nhớ hệ thống.

Tuy nhiên, những nhu cầu ngày càng tăng này không thể được đáp ứng chỉ bằng cách bổ sung thêm dung lượng lưu trữ. Điều cần thiết là những thông tin chuyên sâu hữu ích, có cơ sở từ các nhà máy AI (AI factories) và các kiến trúc lưu trữ bảo mật, hiệu quả để hiện thực hóa những thông tin đó.

Tại hội nghị Future of Memory and Storage (FMS) tuần này, NVIDIA đang công bố những tiến bộ mới về lưu trữ và trình diễn cách bước nhảy vọt tiếp theo của AI phụ thuộc vào cơ sở hạ tầng lưu trữ cung cấp cho điện toán tăng tốc cũng nhiều như chính sức mạnh tính toán vậy.

Áp lực lên cơ sở hạ tầng đó đang ngày càng gia tăng khi các tác nhân AI (AI agents) tiêu thụ lượng dữ liệu khổng lồ — và các GPU hiện có thể khởi tạo các yêu cầu lưu trữ trực tiếp, tạo ra hàng nghìn thao tác đồng thời.

Để phục vụ các yêu cầu đó, hệ thống lưu trữ phải liên tục mã hóa, nén, xác minh và tái tạo dữ liệu. Những dịch vụ dữ liệu quan trọng này có thể trở thành điểm nghẽn khi hàng nghìn tác nhân truy cập vào bộ nhớ cùng một lúc.

Các bài kiểm tra hiệu năng (benchmarks) được nêu bật trong blog kỹ thuật này của NVIDIA cho thấy CPU NVIDIA Vera, một phần của NVIDIA Vera BlueField-4 STX, mang lại thông lượng cao hơn tới 3,21 lần so với CPU x86 trong quy trình nén và mã hóa hai giai đoạn. Điều này có nghĩa là với Vera, các nền tảng lưu trữ có thể hấp thụ luồng dữ liệu AI hiệu quả hơn — mang lại thông lượng lớn hơn với cơ sở hạ tầng tính toán ít hơn đáng kể.

Với điện toán tăng tốc, lưu trữ không còn là nơi thụ động để giữ dữ liệu mà trở thành một phần chủ động của đường truyền dữ liệu (data path).

Điều này làm đảo lộn các nguyên tắc kinh tế cũ trong việc xác định khi nào dữ liệu thuộc về bộ nhớ (nơi các ứng dụng có thể truy xuất nhanh hơn) so với trên ổ lưu trữ (nơi dữ liệu có thể được lưu giữ trong không gian rẻ và dồi dào). Sự đánh đổi này lần đầu tiên được định hình cách đây 40 năm, khi câu trả lời được đo bằng thời gian truy cập dữ liệu tính bằng phút. Trên các GPU ngày nay, kết hợp với các giải pháp lưu trữ AI từ NVIDIA và các đối tác, sự đánh đổi tương tự giờ đây diễn ra trong vài micro giây.

Việc thu hẹp khoảng cách giữa nhu cầu của AI và sự thiếu hụt bộ nhớ phụ thuộc vào sự đồng thiết kế (codesign) cực hạn trên toàn bộ hệ sinh thái, từ các nhà sản xuất bộ nhớ và lưu trữ đến phần mềm được xây dựng trên đó.

Các API NVIDIA cuFile mã nguồn mở cho phép khả năng tương tác cho các giải pháp lưu trữ.

Tại FMS, NVIDIA thông báo họ đang mở mã nguồn các giao diện lập trình ứng dụng (API) cuFile — và ngăn xếp phần mềm lưu trữ theo chiều dọc bên dưới chúng — cho phép GPU, chứ không chỉ CPU, đọc và ghi trực tiếp vào bộ nhớ. cuFile là một thành phần mã nguồn mở của NVIDIA GPUDirect Storage.

Sử dụng hàng trăm nghìn luồng GPU, bộ nhớ băng thông cao tốc độ và các phương pháp khác, cuFile cho phép truy cập dữ liệu từ bộ nhớ một cách an toàn chỉ trong vài micro giây.

Điều này thể hiện cách ngành công nghiệp đang thống nhất một ngăn xếp lưu trữ ưu tiên bảo mật dựa trên các phương pháp thực hành tốt nhất của Linux, cung cấp khả năng tương tác giữa GPU và dữ liệu.

Ngoài ra, việc truy cập nhanh và an toàn vào dữ liệu và bộ nhớ là yếu tố nền tảng để thúc đẩy các biện pháp an ninh mạng mang tính phòng ngừa và phát hiện. Việc cung cấp cuFile dưới dạng mã nguồn mở sẽ giúp các ngữ cảnh bảo mật, dữ liệu và bộ nhớ có thể truy cập được ở tốc độ mà các hệ thống phòng thủ dựa trên AI cần. Các công nghệ mở như vậy hỗ trợ các sáng kiến như Open Secure AI Alliance mới.

Trang web này là ngôi nhà mới cho các API mở để đóng góp — với Google, Intel, NVIDIA và Meta là những đơn vị duy trì ban đầu — và có thể được tối ưu hóa để sử dụng trên nhiều nền tảng phần mềm và phần cứng khác nhau, thúc đẩy sự đổi mới và hiệu quả cho các nhà phát triển và doanh nghiệp.

NVIDIA và các nhà lãnh đạo ngành thúc đẩy biên giới mới của lưu trữ AI.

Ngoài ra, NVIDIA và các nhà lãnh đạo ngành lưu trữ đang tối ưu hóa các giải pháp bộ nhớ và lưu trữ thông qua một sáng kiến có tên là Storage-Next. Sáng kiến do NVIDIA dẫn dắt này tập hợp các nhà sản xuất bộ nhớ, nhà cung cấp bộ điều khiển, thiết kế nhiệt, làm mát và các nhà vận hành điều phối để thống nhất về cách thức hoạt động của bộ nhớ do GPU điều khiển — sau đó biến những tiến bộ này thành các tiêu chuẩn công nghiệp mở, có khả năng tương tác.

Storage-Next bao gồm hơn 40 nhà cung cấp bộ nhớ và flash hàng đầu — bao gồm DDN, KIOXIA và Micron — mỗi đơn vị đều đóng góp vào thế hệ công nghệ lưu trữ AI tiếp theo cùng với NVIDIA.

Sáng kiến này dựa trên việc truy cập dữ liệu tăng tốc cho các tập dữ liệu AI lớn. Để hỗ trợ điều này, NVIDIA cung cấp SCADA — viết tắt của scaled, accelerated data access (truy cập dữ liệu tăng tốc, quy mô lớn) — một khung làm việc cho phép các GPU song song hóa hàng loạt chỉ lấy dữ liệu cần thiết cho ứng dụng trực tiếp từ bộ nhớ vào bộ nhớ tốc độ cao của chính chúng.

Ví dụ, DDN đang tích hợp SCADA với Infinia, nền tảng thông minh dữ liệu AI-native, được định nghĩa bằng phần mềm của họ, được xây dựng để loại bỏ các điểm nghẽn lưu trữ ở quy mô lớn.

"Thành công của AI sẽ không được định nghĩa bởi việc các tổ chức sở hữu bao nhiêu cơ sở hạ tầng, mà bởi việc họ sử dụng nó hiệu quả như thế nào," Sven Oehme, giám đốc công nghệ tại DDN cho biết. "Sự hợp tác của chúng tôi với NVIDIA đang giúp tạo ra kết nối trực tiếp, hiệu quả hơn giữa GPU và dữ liệu — giữ cho các tài nguyên điện toán tăng tốc luôn hiệu quả, tăng tốc thời gian đạt được thông tin chuyên sâu và cho phép khách hàng đạt được lợi nhuận kinh doanh và tài chính mạnh mẽ hơn từ các khoản đầu tư AI của họ."

Storage-Next và SCADA mở rộng công việc lâu dài của NVIDIA về cơ sở hạ tầng lưu trữ AI, bao gồm cả trên NVIDIA Vera BlueField-4 STX — một nền tảng mô-đun, quy mô rack được cung cấp sức mạnh bởi nền tảng NVIDIA Vera Rubin, bộ xử lý lưu trữ NVIDIA Vera BlueField-4 và mạng Ethernet NVIDIA Spectrum-X.

Định nghĩa một lớp nền tảng dữ liệu AI-native mới, NVIDIA STX sử dụng ngăn xếp bảo mật NVIDIA DOCA hợp nhất để cho phép các doanh nghiệp thực thi chính sách liên tục trong đường truyền dữ liệu AI.

Thêm vào đó, NVIDIA CMX Context Memory Storage cung cấp một tầng ngữ cảnh AI-native cho suy luận AI tác nhân (agentic AI inference), đa lượt, ngữ cảnh dài, được xây dựng trên NVIDIA STX.

SCADA cho phép lưu trữ AI nhanh chóng và luôn bảo mật.

Tốc độ ở lớp lưu trữ đi kèm với một cái giá. Để một ứng dụng giao tiếp trực tiếp với ổ đĩa thì nhanh, nhưng nếu thực hiện bất cẩn, nó có thể ghi đè lên bộ nhớ của các tiến trình khác — đó là một lỗ hổng bảo mật, không phải là một tính năng.

NVIDIA SCADA sử dụng một phương pháp an toàn, mạnh mẽ để đạt được quyền truy cập trực tiếp theo quy mô bằng cách chia công việc thành hai phần:

Các phần người dùng của một ứng dụng cần tốc độ thô sẽ nằm ngoài cơ sở tính toán tin cậy (trusted computing base).

Một thành phần đặc quyền riêng biệt sẽ cấu hình quyền truy cập được bảo vệ giữa ứng dụng người dùng và bộ nhớ đã được phê duyệt của nó khi thiết lập, tuân thủ các giao thức Linux tiêu chuẩn để thực thi bảo mật trong khi vẫn bảo vệ dữ liệu một cách hiệu quả.

Tất cả đều là một phần của cách những tiến bộ trong cơ sở hạ tầng lưu trữ AI nhanh, song song hóa hàng loạt, hiệu quả và bảo mật có thể cung cấp dữ liệu tốt hơn cho các ứng dụng và nhà máy AI — để chúng có thể tạo ra trí thông minh hữu ích, chính xác và có cơ sở hơn ở quy mô lớn.

Hãy tham gia các phiên thảo luận của NVIDIA tại FMS, diễn ra từ ngày 4-6 tháng 8 tại Santa Clara, California, và tìm hiểu thêm về lưu trữ AI của NVIDIA.

Xem thông báo liên quan đến thông tin sản phẩm phần mềm.