Epoch AI@EpochAIResearchHệ thống Nvidia LPX: Đột phá tốc độ giải mã cho các mô hình AI nhỏ
Nvidia's Groq 3 LPX system excels at fast decode of small models (>3, 400 tok/s), according to a @Art…
DịchNvidia giới thiệu hệ thống LPX sử dụng SRAM siêu tốc thay thế HBM, giúp đạt tốc độ giải mã ấn tượng hơn 3.400 token/giây cho các mô hình nhỏ như Gemma 2 2B. Công nghệ này hứa hẹn sẽ kết hợp cùng GPU để tối ưu hóa hiệu suất cho các mô hình AI quy mô lớn.

















