Moonshot AI công bố mã nguồn mở mô hình Kimi K3 với 2,8 nghìn tỷ tham số

Theo tin từ IT ngày 27 tháng 7, Moonshot AI tối nay đã chính thức mã nguồn mở mô hình Kimi K3. Công ty đã công bố trọng số mô hình, báo cáo kỹ thuật của Kimi K3, đồng thời mở mã nguồn các công nghệ hạ tầng (Infra) then chốt hỗ trợ quá trình huấn luyện mô hình Kimi K3, bao gồm: MoonEP, FlashKDA và AgentEnv.

Kimi K3 là mô hình có 2,8 nghìn tỷ tham số, được xây dựng dựa trên cơ chế chú ý tuyến tính hỗn hợp KDA (Kimi Delta Attention) và kỹ thuật Attention Residuals (phần dư chú ý), hỗ trợ hiểu hình ảnh nguyên bản và sở hữu cửa sổ ngữ cảnh 1 triệu token.

Phía công ty cho biết, Kimi K3 là mô hình mã nguồn mở đầu tiên đạt quy mô 2,8 nghìn tỷ tham số. Trong 12 tháng qua, các mô hình Kimi đã giữ vững vị thế dẫn đầu về quy mô trong cộng đồng mã nguồn mở suốt 9 tháng.

Kimi cũng đã mở rộng hơn nữa độ thưa thớt của Mixture of Experts (MoE): khi kết hợp với khung Stable LatentMoE, mô hình có thể kích hoạt hiệu quả 16 trong số 896 chuyên gia. Cùng với việc tối ưu hóa phương pháp huấn luyện và công thức dữ liệu, những cải tiến về cấu trúc này giúp hiệu suất mở rộng tổng thể của Kimi K3 tăng khoảng 2,5 lần so với K2, cho phép chuyển đổi sức mạnh tính toán thành năng lực mô hình một cách hiệu quả hơn.

Theo giới thiệu, Kimi K3 sở hữu khả năng mã hóa tầm xa mạnh mẽ. Với rất ít sự giám sát từ con người, mô hình có thể liên tục hoàn thành các tác vụ kỹ thuật kéo dài, hiểu và xử lý các cơ sở mã lớn, cũng như phối hợp sử dụng các công cụ đầu cuối (terminal); Kimi K3 cũng rất giỏi trong các tác vụ kết hợp giữa kỹ thuật phần mềm và suy luận thị giác. Mô hình có thể tận dụng ảnh chụp màn hình và phản hồi thị giác để tối ưu hóa các lĩnh vực như phát triển trò chơi, giao diện người dùng (frontend) và CAD.

Phía công ty cho biết, mặc dù hiệu suất tổng thể của Kimi K3 vẫn đứng sau các mô hình đóng mạnh nhất hiện nay là Claude Fable 5 và GPT-5.6 Sol, nhưng mô hình đã thể hiện năng lực ở trình độ tiên phong trong toàn bộ các bài đánh giá và vượt trội một cách ổn định so với tất cả các mô hình khác.

IT đính kèm các liên kết mã nguồn mở:

https://huggingface.co/moonshotai/Kimi-K3

https://github.com/MoonshotAI/Kimi-K3

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài có trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, giúp tiết kiệm thời gian lựa chọn, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết của IT đều bao gồm tuyên bố này.