Tin ngành
Astera Labs ra mắt bộ điều khiển bộ nhớ Leo X: Tối ưu hóa KV Cache cho AI
(giờ Việt Nam)
Tóm tắt AI
Astera Labs giới thiệu dòng Leo X mới, cho phép chuyển tải KV Cache từ GPU sang bộ nhớ ngoài, giúp giảm độ trễ phản hồi đầu tiên tới 62% và tăng tốc độ xử lý token lên 22%.
Bản dịch AI
Theo tin từ IT ngày 16 tháng 9, startup về kết nối tốc độ cao cho chip là Astera Labs đã thông báo vào ngày 15 (giờ địa phương tại California, Mỹ) về việc mở rộng dòng sản phẩm bộ điều khiển bộ nhớ thông minh Leo với ba series mới: Leo X, Leo 2 E và Leo 2 P.
Leo 2 E và Leo 2 P là các dòng chip tuân thủ tiêu chuẩn CXL 3.2, hỗ trợ 4 bộ điều khiển bộ nhớ DDR4 / DDR5 hạ nguồn. Leo 2 E hỗ trợ cấu hình cổng đơn PCIe Gen6 1×16; trong khi đó, Leo 2 P cho phép cấu hình cổng kép 2×8 trên nền tảng này, giúp hiện thực hóa việc gộp (pooling) và chia sẻ bộ nhớ bổ sung.
Đồng thời, series Leo X là bộ điều khiển bộ nhớ thông minh dựa trên kiến trúc mạng, được thiết kế chuyên biệt để đáp ứng trực tiếp nhu cầu bộ nhớ phía bộ tăng tốc AI.
Dòng chip này có thể được sử dụng kết hợp với chip chuyển mạch mạng Scorpio của Astera Labs, thông qua PCIe và các giao thức chuyên dụng của nền tảng để thực hiện mở rộng quy mô ngang (scale-out) cho GPU, cung cấp lớp bộ nhớ chuyên dụng để giảm tải KV Cache và ngữ cảnh của tác nhân (agent context).
Astera Labs cho biết series Leo X cung cấp các kênh có độ trễ thấp hơn và băng thông cao hơn cho việc truy cập KV Cache của GPU, giúp rút ngắn độ trễ từ ngữ đầu tiên (Time to First Token) lên đến 62% và tăng lưu lượng token lên đến 22%.
Bài viết được AI dịch và tổng hợp tự động từ IT Home. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.