Moonshot AI ra mắt Kimi K3: Mô hình MoE mã nguồn mở 2,8 nghìn tỷ tham số với cửa sổ ngữ cảnh 1 triệu token

Moonshot AI vừa ra mắt Kimi K3. Đây là mô hình có 2,8 nghìn tỷ tham số với khả năng thị giác (vision) nguyên bản và cửa sổ ngữ cảnh 1 triệu token. Moonshot gọi đây là mô hình mã nguồn mở thuộc phân khúc 3T đầu tiên trên thế giới.

Kimi K3 là gì?

Kimi K3 là một mô hình Mixture-of-Experts (MoE) thưa (sparse) được xây dựng dựa trên hai cập nhật kiến trúc. Đó là Kimi Delta Attention (KDA) và Attention Residuals (AttnRes). Cả hai đều thay đổi cách thông tin luân chuyển qua độ dài chuỗi và độ sâu của mô hình. K3 hướng tới các tác vụ lập trình dài hạn, công việc tri thức và suy luận.

Đội ngũ Moonshot khẳng định K3 là mô hình mở đầu tiên đạt tới 2,8 nghìn tỷ tham số. Trong chín tháng qua, các mô hình Kimi đã thiết lập giới hạn trên về quy mô cho các mô hình mở.

Moonshot cũng thẳng thắn về vị thế của K3. Hiệu suất tổng thể vẫn đứng sau các mô hình độc quyền mạnh mẽ nhất là Claude Fable 5 và GPT 5.6 Sol. Tuy nhiên, trong bộ đánh giá riêng của Moonshot, K3 liên tục vượt qua các mô hình khác được thử nghiệm.

Kiến trúc bên dưới

Kimi Delta Attention (KDA) là một cơ chế chú ý tuyến tính lai. Moonshot cho biết nó cho phép giải mã nhanh hơn tới 6,3 lần trong các ngữ cảnh triệu token.

AttnRes hoạt động dọc theo trục còn lại, đó là độ sâu. Nó truy xuất có chọn lọc các biểu diễn qua độ sâu thay vì tích lũy chúng một cách đồng nhất. Moonshot cho biết AttnRes mang lại hiệu quả huấn luyện cao hơn khoảng 25% với chi phí bổ sung dưới 2%.

Độ thưa (Sparsity) là đòn bẩy thứ ba. K3 sử dụng Stable LatentMoE, kích hoạt hiệu quả 16 trong số 896 chuyên gia. Ở mức độ thưa đó, việc định tuyến và tối ưu hóa trở thành những thách thức hàng đầu. Quantile Balancing (Cân bằng phân vị) suy ra việc phân bổ chuyên gia trực tiếp từ các phân vị điểm số của bộ định tuyến. Điều này loại bỏ các cập nhật heuristic và siêu tham số cân bằng nhạy cảm. Per-Head Muon mở rộng Muon bằng cách tối ưu hóa các đầu chú ý một cách độc lập. Sigmoid Tanh Unit (SiTU) và Gated MLA lần lượt cải thiện khả năng kiểm soát kích hoạt và tính chọn lọc của cơ chế chú ý.

Các công thức huấn luyện và dữ liệu tinh chỉnh đi kèm với những thay đổi cấu trúc đó. Tổng hợp lại, chúng mang lại hiệu quả mở rộng tổng thể tốt hơn khoảng 2,5 lần so với Kimi K2.

Những lựa chọn đó được áp dụng vào quá trình phục vụ (serving). K3 áp dụng huấn luyện nhận thức lượng tử hóa (quantization-aware training) từ giai đoạn SFT trở đi. Nó sử dụng trọng số MXFP4 với kích hoạt MXFP8 để tương thích rộng rãi với phần cứng. Đội ngũ Moonshot khuyến nghị cấu hình siêu nút (supernode) với 64 bộ tăng tốc trở lên. Vì KDA đặt ra những thách thức mới cho việc lưu trữ tiền tố (prefix caching), Moonshot đã đóng góp một bản triển khai cho vLLM.

Hiệu suất

Với các cơ chế đã được thiết lập, các điểm số được công bố sẽ dễ đọc hơn. Tất cả kết quả của K3 đều sử dụng nỗ lực suy luận (reasoning effort) được đặt ở mức tối đa. Các bộ đánh giá (harnesses) khác nhau tùy theo benchmark: KimiCode, Claude Code hoặc Codex.

Hai lưu ý định hình bảng này. 'With fallback' nghĩa là các yêu cầu mà Fable 5 từ chối theo chính sách sử dụng sẽ được chuyển hướng sang Opus 4.8. Ngoài ra, BrowseComp sử dụng tính năng nén ngữ cảnh được kích hoạt ở mức 300K token. Nếu không có tính năng quản lý ngữ cảnh đó, K3 đạt 90,4 điểm.

Như vậy, K3 dẫn đầu trong Program Bench, SWE Marathon, BrowseComp, Automation Bench và OmniDocBench. Nó đứng sau Fable 5 trong FrontierSWE và HLE-Full, và sau GPT 5.6 Sol trong DeepSWE.

Các trường hợp sử dụng và ví dụ

Đội ngũ Moonshot cho biết một kiến trúc đa phương thức nguyên bản có thể xử lý văn bản, hình ảnh và video cùng nhau.

Truy cập và Lệnh gọi tối thiểu

K3 hiện đã hoạt động trên Kimi.com, Kimi Work, Kimi Code và API. Việc truy cập được thực hiện thông qua OpenAI SDK trỏ tới URL cơ sở của Moonshot.

Bốn quy tắc cần lưu ý. reasoning_effort chỉ hỗ trợ mức max và không được sử dụng tham số tư duy của K2.x. temperature, top_p và n đã được cố định, vì vậy hãy bỏ qua chúng. max_completion_tokens mặc định là 131072 và có thể đạt tới 1048576. Trong các cuộc hội thoại nhiều lượt và gọi công cụ, hãy trả về toàn bộ tin nhắn của trợ lý.

Giá cả là cố định, không phân tầng theo độ dài ngữ cảnh. Đầu vào có cache-hit là $0,30/MTok, cache-miss là $3,00/MTok và đầu ra là $15,00/MTok. Do đó, tỷ lệ cache-hit là con số cần theo dõi. Đội ngũ Moonshot báo cáo tỷ lệ cache-hit trên 90% trong các tác vụ lập trình.

Những điểm chính cần lưu ý

Xem chi tiết kỹ thuật và Thử nghiệm tại đây. Ngoài ra, hãy theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ của chúng tôi cũng như Đăng ký nhận Bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo, Trang Hugging Face, Phát hành sản phẩm hoặc Hội thảo trực tuyến của bạn? Hãy kết nối với chúng tôi.

Asif Razzaq là CEO của Marktechpost Media Inc.. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ nhân tạo vì lợi ích xã hội. Nỗ lực gần đây nhất của ông là ra mắt Nền tảng truyền thông Trí tuệ nhân tạo, Marktechpost, nổi bật với việc đưa tin chuyên sâu về tin tức học máy và học sâu, vừa đảm bảo tính kỹ thuật vừa dễ hiểu đối với đông đảo khán giả. Nền tảng này tự hào với hơn 2 triệu lượt xem hàng tháng, minh chứng cho sự phổ biến của nó đối với độc giả.