Alibaba đưa siêu máy tính Lingjun Zhenwu M890 vận hành thành công mô hình 2,4 nghìn tỷ tham số Qwen3.8

Theo tin từ IT ngày 23 tháng 7, hôm nay Alibaba Cloud thông báo rằng các instance siêu nút (super-node) Lingjun Zhenwu M890 đã thích ứng thành công với Qwen3.8 và chính thức có mặt trên nền tảng Alibaba Cloud Bailian để cung cấp dịch vụ suy luận mô hình. Đây là siêu nút đầu tiên tại Trung Quốc vận hành thành công mô hình ngôn ngữ lớn với hơn 2 nghìn tỷ tham số.

Theo giới thiệu, Qwen3.8 là mô hình flagship mới nhất của Alibaba với quy mô tham số lên tới 2,4 nghìn tỷ. Để vận hành một mô hình có quy mô này, cần phân tán các tham số ra hàng chục, thậm chí hàng trăm card GPU được kết nối tốc độ cao, giúp các tham số nghìn tỷ "chạy ổn định và nhanh chóng". Tuy nhiên, các cụm AI thông thường không thể đáp ứng nhu cầu về thông lượng cao, độ trễ thấp và khả năng đồng thời cao do hạn chế về băng thông truyền tải.

IT lưu ý rằng Zhenwu M890 là thế hệ chip AI tích hợp huấn luyện và suy luận mới của T-Head, hỗ trợ nguyên bản nhiều độ chính xác dữ liệu từ FP32 đến FP4, có thể ứng dụng trong toàn bộ các kịch bản từ huấn luyện độ chính xác cao đến suy luận độ chính xác thấp và siêu thấp. Thông qua chip kết nối ICN Switch 1.0, các instance siêu nút Lingjun Zhenwu M890 cho phép 64 chip Zhenwu M890 đạt tốc độ kết nối 800GB/s, quy mô bộ nhớ đồ họa đạt 9TB, giúp một instance duy nhất có thể đáp ứng nhu cầu song song chuyên gia (expert parallelism) của các mô hình MoE quy mô lớn 2 nghìn tỷ tham số.

Ngoài ra, Alibaba cũng đã thực hiện tối ưu hóa toàn trình từ cấp độ chip đến nền tảng đám mây với mô hình Qwen, không chỉ giúp vận hành mượt mà Qwen3.8 mà còn cải thiện đáng kể hiệu suất suy luận và giảm chi phí suy luận. Dữ liệu đo lường thực tế cho thấy, thông qua tối ưu hóa toán tử và sự phối hợp giữa kiến trúc phần cứng - phần mềm, instance siêu nút này có thể đạt mức tăng hiệu suất suy luận lên tới 1,5 lần trong các kịch bản suy luận Agentic.

Đọc thêm:

"Alibaba Cloud ra mắt instance siêu nút Lingjun Zhenwu M890, một thiết bị đơn lẻ có thể gánh vác suy luận mô hình lớn MoE quy mô 10 nghìn tỷ tham số"

"Mô hình bản xem trước Alibaba Qwen3.8 đã lên sóng: 2,4T tham số, tuyên bố 'có thể là mô hình mạnh mẽ nhất ngoài Fable 5'"

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian lựa chọn, kết quả chỉ mang tính chất tham khảo, tất cả các bài viết của IT đều bao gồm tuyên bố này.