Bí mật kỹ thuật đằng sau đợt giảm giá API của Xiaomi MiMo-V2.5

Nội dung dịch chi tiết

Dòng Xiaomi MiMo-V2.5 gần đây đã thực hiện giảm giá API. Nền tảng cốt lõi cho thay đổi này là việc đội ngũ kỹ thuật đã tiến hành tái cấu trúc toàn diện hệ thống suy luận.

Mô hình dựa trên kiến trúc Hybrid Sliding Window Attention, về lý thuyết có thể nén bộ nhớ KVCache xuống còn khoảng 1/7 so với các mô hình toàn chú ý (full-attention).

Để hiện thực hóa ưu thế của kiến trúc này, đội ngũ đã thiết kế lại quy trình quản lý KVCache, bộ nhớ đệm phân cấp và cây tiền tố (prefix-cache tree), đồng thời tối ưu hóa sâu sắc quy trình lập lịch và đường ống Prefill/Decode.

Thông qua kiểm chứng với lưu lượng sản xuất thực tế, dung lượng KVCache hiệu dụng đã tăng gần 5 lần, với tỷ lệ trúng bộ nhớ đệm phía máy chủ duy trì ổn định ở mức 93%-95%.

Những tối ưu hóa này kết hợp cùng việc điều chỉnh cấu hình MoE đã giúp giảm đáng kể chi phí suy luận cho các ngữ cảnh dài, từ đó tạo điều kiện cho đợt giảm giá lần này.