karminski@karminski3Thử nghiệm thực tế cho thấy Intel Optane PMem không hiệu quả cho KV Cache do tốc độ ghi chậm và giới hạn NUMA. Chuyên gia đề xuất sử dụng hạ tầng RDMA 400Gb để đạt băng thông 40GB/s, đảm bảo hiệu suất tối ưu cho các hệ thống suy luận AI tách biệt tài nguyên tính toán và lưu trữ.
karminski@karminski3Chuyên gia Lý Bác Kiệt chỉ ra rằng dù công nghệ như RDMA đã có từ lâu, việc ứng dụng thực tế vẫn rất chậm chạp. Ông cho rằng AI hiện nay giỏi tối ưu hóa nhỏ lẻ nhưng hệ thống thiết kế vẫn còn nhiều hạn chế, chưa thể thay thế hoàn toàn con người.
Meta giới thiệu MetaRoCE, giao thức RDMA mới giúp duy trì hiệu suất mạng AI ngay cả khi có mất gói tin, bằng cách chuyển giao việc xử lý dữ liệu trực tiếp xuống card mạng. Công nghệ này hứa hẹn tối ưu hóa băng thông cho các cụm GPU quy mô lớn thông qua chuẩn mở OCP.
Meta giới thiệu MetaRoCE, giao thức RDMA mã nguồn mở giúp tối ưu hóa hiệu suất mạng Ethernet cho các cụm AI hàng triệu GPU mà không cần PFC, đồng thời đảm bảo tương thích hoàn toàn với các ứng dụng hiện có.
Thêm 1 nguồn khác đưa tinMarkTechPost