Alibaba công bố mã nguồn mở Qwen3.8-2.4T-A95B: Mô hình MoE 2.4 nghìn tỷ tham số, hỗ trợ ngữ cảnh 256K

Theo tin từ IT ngày 13 tháng 8, tài khoản chính thức " ModelScope " của Alibaba Cloud đã thông báo vào đêm muộn hôm qua (ngày 12) rằng đội ngũ Qwen của Alibaba đã chính thức mở mã nguồn trọng số cho mô hình Qwen3.8-2.4T-A95B.

Đây là lần đầu tiên một mô hình cấp độ Qwen-Max được mở mã nguồn trọng số: mô hình có tổng cộng 2,4 nghìn tỷ (2.4T) tham số, với 95 tỷ (95B) tham số được kích hoạt cho mỗi Token, hỗ trợ độ dài ngữ cảnh gốc là 262.144 Token và có thể mở rộng lên tới 1.010.000 Token.

Qwen3.8 kế thừa kiến trúc hỗn hợp của Qwen3.5, tập trung cải thiện khả năng hoàn thành các tác vụ đầu cuối (end-to-end) trong lĩnh vực lập trình, văn phòng, nghiên cứu khoa học và các tác vụ Agent chu kỳ dài. Phiên bản Qwen3.8-Max trên nền tảng đám mây chính thức được xây dựng dựa trên mô hình trọng số mở này, đồng thời bổ sung thêm nhiều khả năng phục vụ môi trường sản xuất.

Các đánh giá được công bố chính thức bao gồm các lĩnh vực như Agent lập trình, Agent tổng quát, công việc chuyên môn và ngữ cảnh dài; so với các mô hình như Opus 4.8, Fable 5, GPT 5.6 Sol, kết quả cho thấy sự cạnh tranh sát sao, đồng thời đạt được thành tích cao trong các Benchmark như PaperBench, IFBench so với các mô hình được liệt kê.

IT đính kèm các liên kết liên quan như sau:

Mô hình: https://modelscope.cn/models/Qwen/Qwen3.8-2.4T-A95B

Blog: https://qwen.ai/blog?id=qwen3.8

Qwen Studio: https://chat.qwen.ai

Qwen3.8-2.4T-A95B là một mô hình ngôn ngữ nhân quả (causal language model) với tổng cộng 2,4 nghìn tỷ tham số, trong đó mỗi Token kích hoạt 95 tỷ tham số. Mỗi lớp MoE của mô hình chứa 512 chuyên gia, mỗi Token sẽ chọn 10 chuyên gia định tuyến và đồng thời kích hoạt 1 chuyên gia chia sẻ.

Mô hình cũng đã được huấn luyện thông qua cơ chế MTP (Multi-Token Prediction - Dự đoán đa Token) nhiều bước, cung cấp khả năng dự đoán nhiều Token tiếp theo cho các công cụ suy luận hỗ trợ cơ chế tương ứng.

Theo giới thiệu, quá trình hậu huấn luyện (post-training) cho các tác vụ văn phòng và Agent của Qwen3.8-Max được tóm tắt qua ba giai đoạn:

Liên tục mở rộng môi trường thực tế và tách biệt (decouple) các chiều độc lập: Tác vụ (Task) (đơn tác vụ → đa tác vụ → tác vụ xuyên ngày), Không gian làm việc (Workspace) (nhiều tệp → thư mục phân cấp → thư mục không đồng nhất phức tạp), Harness (các danh mục, phiên bản, kỹ năng khác nhau). Điều này cho phép số lượng môi trường tăng trưởng một cách tự nhiên theo kiểu tổ hợp, thay vì phụ thuộc vào việc tích hợp tùy chỉnh từng cái một.

Xây dựng một hệ thống phần thưởng thống nhất, nội hóa các phương thức xác thực không đồng nhất trong các tác vụ thực tế. Hệ thống này bao gồm kiểm tra dựa trên thực thi, đánh giá rubric đối với văn bản và đầu ra hình ảnh đã kết xuất, cũng như kiểm tra mang tính agentic. Chúng tôi thống nhất nhiều hình thức và phương thức vào một hệ thống phần thưởng duy nhất, cung cấp tín hiệu phần thưởng nhất quán và đáng tin cậy cho tất cả các môi trường, loại bỏ sự không nhất quán vốn có khi duy trì các bộ xác thực (verifier) chuyên biệt cho từng tác vụ.

Xây dựng một bộ cân bằng dữ liệu trực tuyến, tái cấu trúc từng batch để đảm bảo sự phân bổ đồng đều cao về tác vụ, độ khó, không gian làm việc và harness, từ đó giảm phương sai gradient giữa các batch, hỗ trợ khả năng tính toán huấn luyện học tăng cường (reinforcement learning) mở rộng một cách ổn định và bền vững.

Tuyên bố quảng cáo: Các liên kết ngoài chứa trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian lựa chọn, kết quả chỉ mang tính chất tham khảo. Các bài viết của IT có chứa liên kết ngoài đều bao gồm tuyên bố này.