Thành phần cốt lõi HySparse 2 của Xiaomi MiMo chính thức ra mắt hôm nay, giúp giảm 5,02 lần khối lượng tính toán tiền nạp (prefill) và thu nhỏ 4,5 lần bộ nhớ đệm KV ở mức 1M Token
Tổng quan sự kiện
Tóm tắt sự kiện · Thông tin xác thực
Theo tin từ IT ngày 23 tháng 9, Giám đốc phụ trách mô hình ngôn ngữ lớn MiMo của Xiaomi, bà La Phúc Lợi, thông báo thành phần cốt lõi HySparse 2 của kiến trúc MiMo-V3 đã chính thức ra mắt kèm theo bài nghiên cứu. Ở độ dài 1M Token, thành phần này giúp giảm 5,02 lần khối lượng tính toán tiền nạp, thu nhỏ 4,5 lần bộ nhớ đệm KV, đồng thời đạt điểm số cao hơn ở các bài kiểm tra MRCRv2 và RULER-v2, cùng chỉ số AgentPPL và LongPPL thấp hơn. Các kết quả trên do đơn vị phát hành công bố.
Theo bài gốc của sự kiện từ IT Home.
Diễn biến mới nhất
Xiaomi công bố MiMo-V3 sắp áp dụng kiến trúc hoàn toàn mới, với nhân HySparse 2 sẽ được ra mắt vào ngày 23 tháng 9.
Dòng thời gian đưa tin
Đang hiện 3 bài · tất cả · mới trước
Hôm nay · 24/09
Xiaomi MiMo-V3 công bố sắp áp dụng kiến trúc hoàn toàn mới, với thành phần cốt lõi HySparse 2 ra mắt vào ngày 23 tháng 9
IT HomeNgày 23 tháng 9, Giám đốc phụ trách mô hình ngôn ngữ lớn MiMo của Xiaomi, bà La Phúc Lợi, đã đăng bài thông báo MiMo-V3 sắp áp dụng kiến trúc mới. Thành phần cốt lõi HySparse 2 ra mắt cùng ngày, mang lại khả năng tiền nạp ít hơn, bộ nhớ đệm KV nhỏ hơn và hiệu suất truy xuất ngữ cảnh dài vượt trội.
Hôm qua · 23/09
Thành phần cốt lõi HySparse 2 của Xiaomi MiMo chính thức ra mắt hôm nay, giúp giảm 5,02 lần khối lượng tính toán tiền nạp (prefill) và thu nhỏ 4,5 lần bộ nhớ đệm KV ở mức 1M Token
IT HomeTheo tin từ IT ngày 23 tháng 9, Giám đốc phụ trách mô hình ngôn ngữ lớn MiMo của Xiaomi, bà La Phúc Lợi, thông báo thành phần cốt lõi HySparse 2 của kiến trúc MiMo-V3 đã chính thức ra mắt kèm theo bài nghiên cứu. Ở độ dài 1M Token, thành phần này giúp giảm 5,02 lần khối lượng tính toán tiền nạp, thu nhỏ 4,5 lần bộ nhớ đệm KV, đồng thời đạt điểm số cao hơn ở các bài kiểm tra MRCRv2 và RULER-v2, cùng chỉ số AgentPPL và LongPPL thấp hơn. Các kết quả trên do đơn vị phát hành công bố.
Ra mắt kiến trúc HySparse 2 cho MiMo-V3: Giảm 5,02 lần FLOPs tiền nạp ở mức 1M tokens, thu nhỏ 4,5 lần bộ nhớ đệm KV và cải thiện kết quả truy xuất ngữ cảnh dài
X: Luo Fuli (@_LuoFuli)MiMo-V3 sử dụng kiến trúc mới mang tên HySparse 2, được tác giả công bố cùng ngày. So với kiến trúc Hybrid SWA của MiMo-V2.6, kiến trúc này giúp giảm 5,02 lần FLOPs tiền nạp ở mức 1M tokens, thu nhỏ 4,5 lần bộ nhớ đệm KV, cải thiện điểm số MRCRv2 và RULER-v2, đồng thời giảm chỉ số AgentPPL và LongPPL. Cơ chế này bao gồm KV Bridging (xây dựng K/V từ trạng thái ẩn của bộ giải mã tự thân cho các lớp chú ý toàn phần xuyên bộ giải mã) và KV Reuse (tái sử dụng bộ nhớ đệm KV của các lớp chú ý toàn phần trước đó cho các lớp thưa). Ngoài ra, cơ chế này thay thế việc lựa chọn theo khối và nhánh SWA độc lập bằng lựa chọn ở cấp độ token và cửa sổ gần cưỡng bức, cho phép dừng tiền nạp sau khi bộ giải mã tự thân hoàn tất, nhắm vào các kịch bản suy luận tác nhân (Agentic) nơi chi phí tiền nạp, bộ nhớ đệm KV và độ chính xác truy xuất đều chịu áp lực lớn; kèm theo liên kết bài nghiên cứu.