MiniMax M3: Mô hình đa phương thức đột phá với ngữ cảnh 1 triệu token

Nội dung dịch chi tiết

MiniMax M3 là mô hình mới nhất được thiết kế để đạt hiệu suất cấp độ tiên phong trong các tác vụ lập trình và vận hành tác vụ đại lý. Điểm đột phá của M3 nằm ở kiến trúc MSA (MiniMax Sparse Attention), cho phép xử lý cửa sổ ngữ cảnh siêu dài lên tới 1 triệu token mà vẫn đảm bảo hiệu suất tính toán tối ưu.

Khác với các mô hình đóng, M3 là mô hình có trọng số mở đầu tiên tích hợp khả năng đa phương thức tự nhiên, hỗ trợ đầu vào hình ảnh, video và khả năng điều khiển máy tính để bàn. Trên các bảng xếp hạng uy tín như SWE-Bench Pro, M3 đã vượt qua GPT-5.5 và Gemini 3.1 Pro, khẳng định vị thế trong lĩnh vực kỹ thuật phần mềm.

Kiến trúc MSA là chìa khóa giúp M3 giải quyết vấn đề bùng nổ độ phức tạp tính toán của cơ chế chú ý truyền thống. Bằng cách sử dụng phương pháp phân tách khối KV và tối ưu hóa ở cấp độ toán tử, M3 đạt tốc độ xử lý nhanh hơn gấp 4 lần so với các phương pháp mã nguồn mở hiện có, đồng thời giảm chi phí tính toán trên mỗi token xuống còn 1/20 so với thế hệ trước.

Trong các thử nghiệm thực tế, M3 thể hiện khả năng tự chủ ấn tượng. Ví dụ, mô hình đã tự tái hiện thành công một bài nghiên cứu đạt giải tại ICLR 2025 sau 12 giờ làm việc liên tục. Ngoài ra, M3 còn tự tối ưu hóa nhân CUDA cho GPU NVIDIA Hopper, nâng hiệu suất phần cứng từ 7,6% lên 71,3% sau 1.959 lần gọi công cụ mà không cần sự can thiệp của con người.

Để cải thiện khả năng lập trình, MiniMax đã xây dựng khung mô phỏng người dùng tương tác, giúp mô hình học hỏi từ các kịch bản thực tế như thảo luận giải pháp, phản hồi và lặp lại dự án. Cách tiếp cận này giúp M3 không chỉ tạo mã đơn thuần mà còn trở thành đối tác cộng tác đáng tin cậy cho các nhà phát triển trong quy trình R&D thực tế.