85
Thủ thuật
StepFun hợp tác ra mắt plugin vLLM AFD: Tối ưu hóa suy luận mô hình MoE
(giờ Việt Nam)
Tóm tắt AI
StepFun cùng vLLM, Ant Group và FastAFD giới thiệu plugin AFD cho phép tách biệt Attention và FFN trong suy luận MoE. Giải pháp này giúp mở rộng quy mô độc lập mà không cần fork mã nguồn, hỗ trợ tốt trên cả GPU NVIDIA và NPU Ascend.
Bài viết được AI dịch và tổng hợp tự động từ X: StepFun StepFun (@StepFun_ai). Liên kết bài gốc ở phía trên. Dữ liệu đồng bộ qua API công khai được ghi nguồn tại AI HOT (canonical) ↗. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.