Mô hình
Xiaomi MiMo-V3 chuyển sang kiến trúc mới với công nghệ HySparse2 giúp tối ưu chi phí xử lý ngữ cảnh dài
(giờ Việt Nam)
Tóm tắt AI
Xiaomi xác nhận MiMo-V3 sẽ sử dụng kiến trúc HySparse2, giúp giảm đáng kể chi phí suy luận và bộ nhớ KV cache khi xử lý ngữ cảnh lên tới 1 triệu token, tối ưu hóa hiệu suất cho các tác vụ AI agent.
Chính văn · Bản dịch AI
Trưởng bộ phận MiMo của Xiaomi, Fuli Luo, cho biết MiMo-V3 sẽ áp dụng một kiến trúc mới. Công nghệ cốt lõi của nó, HySparse2, được thiết kế để giảm chi phí suy luận ngữ cảnh dài và cải thiện khả năng truy xuất cho các tác vụ agentic.
Với độ dài ngữ cảnh 1 triệu token, HySparse2 giảm tính toán prefill xuống 5,02 lần và cắt giảm KV cache xuống 4,5 lần. Xiaomi cũng báo cáo điểm số MRCRv2 và RULER-v2 cao hơn, cùng với kết quả AgentPPL và LongPPL thấp hơn. [arXiv]
Liên quan
Bài viết được AI dịch và tổng hợp tự động từ TechNode. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.