Alibaba Cloud tối ưu hóa chip Zhenwu M890 cho mô hình Kimi K3 của Moonshot AI

Theo tin từ IT ngày 28 tháng 7, Alibaba Cloud hôm nay thông báo rằng các siêu nút (super-node) thực thể Lingjun Zhenwu M890 đã thích ứng thành công với mô hình ngôn ngữ lớn Kimi K3 có 2,8 nghìn tỷ tham số. Dựa trên sự tối ưu hóa kết hợp giữa chip, nền tảng suy luận và mô hình, hiệu suất suy luận của mô hình đã được cải thiện đáng kể.

IT được biết, Kimi K3 là mô hình hàng đầu mới nhất của Moonshot AI, với quy mô tham số đạt 2,8 nghìn tỷ và sử dụng kiến trúc Mixture-of-Experts (MoE).

Trong khi đó, các siêu nút thực thể Lingjun Zhenwu được xây dựng dựa trên chip AI huấn luyện và suy luận tích hợp Zhenwu M890 của T-Head (Bình Đầu Ca), được trang bị chip kết nối ICN Switch 1.0. Điều này cho phép 64 chip M890 đạt tốc độ kết nối All-to-All lên tới 800 GB/s, với quy mô bộ nhớ đồ họa đạt 9TB, giúp lưu lượng truyền thông song song của chuyên gia EP (Expert Parallelism) trong các mô hình MoE nghìn tỷ tham số có thể chạy trong một miền truyền thông băng thông cao, đảm bảo hiệu suất tạo Token.

Đồng thời, Alibaba Cloud, T-Head và đội ngũ Kimi đã phối hợp sâu rộng từ cấp độ phần cứng, ngăn xếp phần mềm (software stack) để giúp mô hình Kimi K3 đạt được khả năng thích ứng Day0 thành công. Ngăn xếp phần mềm T-Head SAIL của chip Zhenwu cho phép khung suy luận Mooncake tự phát triển của Kimi có thể "chạy ngay khi cài đặt" (out-of-the-box), đồng thời việc hỗ trợ Triton trên M890 cũng giúp cho một lượng lớn các toán tử tùy chỉnh được viết bằng Triton không cần phải viết lại, từ đó giảm đáng kể khối lượng công việc thích ứng.

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin và tiết kiệm thời gian lựa chọn, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết của IT đều bao gồm tuyên bố này.