Xiaomi ra mắt MiMo-V2.5-DFlash: Tăng tốc suy luận LLM bằng kỹ thuật Block-Diffusion

Xiaomi chơi lớn thật đấy, vừa mới phát hành MiMo phiên bản DFlash!

Xiaomi vừa đăng tải MiMo-V2.5-DFlash lên trang HuggingFace của họ! Thậm chí còn chưa kịp cập nhật cả README.

Tôi đã nhanh chóng xem qua phần mã nguồn được công bố và phát hiện ra vài thứ hay ho.

Mô hình dự thảo (draft model) dùng cho suy luận suy đoán (speculative decoding) này là một mô hình block-diffusion!

Lưu ý, đây không phải là kiểu diffusion liên tục như U-Net, xương sống vẫn là Transformer, nhưng mô hình giải mã là block diffusion: thực hiện một lần forward để đoán song song cả một khối token, sau đó đưa cho mô hình lớn xác thực một lần duy nhất.

Nó hoàn toàn khác với kiểu tự hồi quy (autoregressive) từng chút một như EAGLE truyền thống. Tham khảo BLog trước đây của Xiaomi, độ dài chấp nhận (acceptance length) trong các tác vụ lập trình có thể đạt tới 6+ (block=8, độ dài chấp nhận gần như tương đương với hệ số tăng tốc, 6x!), nên hiệu quả tăng tốc của nó sẽ rất rõ rệt!

Ngoài ra cần lưu ý đây là DFlash thuộc hệ Qwen/Z-Lab, không phải DSpark của DeepSeek. DSpark là tích hợp mô hình dự đoán vào cùng một checkpoint với mô hình lớn; còn MiMo thì tách riêng trọng số dự thảo ra, chỉ có vài lớp, dung lượng cục bộ chỉ 2,94G.

Tôi đã xem qua, mô hình dự thảo này vẫn không thể dùng độc lập như một mô hình nhỏ được. Bản thân nó không có embed / lm_head, mỗi bước vẫn phải trích xuất đặc trưng từ các lớp hidden của MiMo để thực hiện KV injection. Vì vậy, trọng số độc lập không có nghĩa là mô hình độc lập, bản chất nó chỉ là một plugin tăng tốc.

Thêm nữa, cách chọn Layer của nó khá mạnh tay, cấu hình target_layer_ids bao gồm [0, 11, 23, 35, 47], thậm chí rút cả từ lớp 0; trong khi bài báo DFlash gốc thường lấy mẫu đều từ các vị trí lớp nông về sau. Cảm giác như nó sẽ tận dụng nhiều hơn các biểu diễn sớm, hoặc cần thích ứng với phân phối ngữ nghĩa lớp nông của MiMo.

Ngoài ra, block_size của nó là 8, hơi bảo thủ một chút. Trong bài báo và bản cài đặt của Qwen thường là 10-16; kích thước nhỏ hơn đồng nghĩa với mức độ song song thấp hơn một chút, nhưng bù lại tỷ lệ chấp nhận thường tốt hơn, thiên về hướng triển khai an toàn.

#mimo #dflash

Link ở đây: http://huggingface.co/XiaomiMiMo/MiMo-V2.5-DFlash