Mô hình
Xiaomi công bố kiến trúc MiMo-V3 với lõi HySparse 2 đột phá
(giờ Việt Nam)
Tóm tắt AI
Xiaomi chính thức ra mắt lõi HySparse 2 cho mô hình MiMo-V3, giúp giảm 5 lần khối lượng tính toán và 4,5 lần bộ nhớ KV cache ở độ dài 1M token, đồng thời cải thiện đáng kể hiệu suất xử lý ngữ cảnh dài.
Chính văn · Bản dịch AI
IT ngày 23 tháng 9 đưa tin, La Phúc Lợi, người đứng đầu mô hình lớn MiMo của Xiaomi, hôm nay đã đăng bài thông báo MiMo-V3 sắp áp dụng kiến trúc hoàn toàn mới. Cốt lõi HySparse 2 của nó đã được công bố hôm nay, mang lại khả năng tính toán tiền điền (prefill) ít hơn, bộ nhớ đệm KV nhỏ hơn và khả năng truy xuất ngữ cảnh dài xuất sắc hơn.
- Ở độ dài 1M (1 triệu) Token, khối lượng tính toán tiền điền (FLOPs) giảm 5,02 lần.
- Ở độ dài 1M Token, bộ nhớ đệm KV thu nhỏ 4,5 lần.
- Sở hữu điểm số MRCRv2 và RULER-v2 cao hơn, đồng thời AgentPPL và LongPPL thấp hơn.
La Phúc Lợi cho biết, suy luận tác tử (Agentic) là một khối lượng công việc hoàn toàn khác biệt. Mỗi vòng tương tác, một hành động ngắn có thể trả về kết quả quan sát là văn bản dài cần phải thực hiện tiền điền, trong khi ngữ cảnh vẫn không ngừng tăng lên. Điều này khiến chi phí tiền điền, kích thước bộ nhớ đệm KV và độ chính xác truy xuất đồng thời nằm trên lộ trình quan trọng.
- Cầu nối KV (KV Bridging): Tuân theo tư duy YOCO, các lớp toàn chú ý (full-attention) trong cross-decoder tận dụng trạng thái ẩn của self-decoder để xây dựng K/V của chúng.
- Tái sử dụng KV (KV Reuse): Trong mỗi khối hỗn hợp, các lớp thưa (sparse layer) tái sử dụng bộ nhớ đệm KV và chỉ mục lựa chọn của lớp toàn chú ý trước đó.
Ngoài ra còn có hai cải tiến: áp dụng lựa chọn ở cấp độ Token thay vì cấp độ khối (block), và thay thế nhánh SWA độc lập bằng cửa sổ cưỡng bức của các Token gần đây, từ đó cho phép các Token cục bộ và toàn cục chia sẻ cùng một bộ nhớ đệm KV. Vì tất cả bộ nhớ đệm KV của cross-decoder hiện đều đến từ self-decoder, nên quá trình tiền điền có thể dừng lại ngay khi self-decoder hoàn tất.
Đáng chú ý, vào rạng sáng hôm qua, Xiaomi vừa công bố và mã nguồn mở dòng Xiaomi MiMo-V2.6 hoàn toàn mới, bao gồm hai mô hình toàn phương thức gốc là Pro và Flash. Xiaomi cho biết đây là bước đi then chốt trong việc khám phá lộ trình RSI (tự cải thiện đệ quy), thông qua việc mở rộng quy mô sức mạnh tính toán học tăng cường, giúp mô hình mở rộng biên giới trí tuệ trong quá trình khám phá và phản hồi liên tục.
IT đính kèm địa chỉ bài báo như sau:
Chuyên đề họp báo ra mắt điện thoại Xiaomi 18 Pro series
Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài có trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian lựa chọn, kết quả chỉ mang tính chất tham khảo, các bài viết của IT chứa liên kết ngoài đều bao gồm tuyên bố này.
Bài viết được AI dịch và tổng hợp tự động từ IT Home. Liên kết bài gốc ở phía trên. Dữ liệu đồng bộ qua API công khai được ghi nguồn tại AI HOT (canonical) ↗. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.