IFM ra mắt K2 Horizon: Bộ 6 mô hình mã nguồn mở Apache 2.0 với quy mô từ 0.9B đến 375B

Hầu hết các đợt ra mắt mô hình mở chỉ phát hành một checkpoint và một bảng benchmark. Viện Mô hình Nền tảng (IFM) đã công bố một thứ rộng rãi hơn vào tuần trước. IFM là phòng thí nghiệm tiên phong do MBZUAI thành lập vào tháng 5 năm 2025. K2 Horizon là một dòng gồm sáu mô hình: 375B-A23B, 36B-A4B, 32B, 7B, 3.7B và 0.9B. Đi kèm với chúng là kho dữ liệu tiền huấn luyện (pre-training corpus), các checkpoint trung gian, mã nguồn huấn luyện, cấu hình và nhật ký chi tiết. IFM gọi đây là đợt ra mắt mô hình mã nguồn mở hoàn toàn lớn nhất trong lịch sử AI.

Liệu nó có thể triển khai được không? Có, tất cả sáu kích thước đều có mặt trên Hugging Face theo giấy phép Apache 2.0, với các bản dựng FP8 và GGUF. Hỗ trợ ngay từ ngày đầu bao gồm vLLM, SGLang và Ollama, trên phần cứng NVIDIA, AMD và Cerebras. Các API được lưu trữ chạy thông qua Compass, Cerebras và Nebius tại platform.ifm.ai.

Những gì thực sự được phát hành

Sáu mô hình này chia sẻ chung kiến trúc cốt lõi, từ vựng, phương pháp huấn luyện, giao diện và công cụ triển khai. Mô hình 0.9B sử dụng từ vựng nhỏ hơn. Sự nhất quán đó chính là mục tiêu: các đội ngũ có thể tạo mẫu trên bản 3.7B và mở rộng lên 375B-A23B mà không cần thay đổi ngăn xếp phục vụ (serving stack) của họ.

Mỗi mô hình được tiền huấn luyện trên khoảng 20 nghìn tỷ token. Gần 17% kho dữ liệu tiền huấn luyện bao gồm các quỹ đạo giải quyết vấn đề với lập luận rõ ràng. Khoảng 10 nghìn tỷ token là dữ liệu tổng hợp (synthetic).

Dữ liệu hậu huấn luyện (post-training) được đưa vào từ giữa quá trình huấn luyện thay vì để dành đến cuối. Nhóm nghiên cứu IFM báo cáo có hơn 100 triệu tác vụ tổng hợp độc nhất. Các định nghĩa công cụ được trình bày dưới dạng JSON, XML và Markdown trong quá trình huấn luyện để mô hình học ngữ nghĩa thay vì cú pháp. Markdown trở thành mặc định cho suy luận (inference), hiệu quả hơn khoảng 18,5% về số lượng token so với JSON trên dữ liệu của IFM.

MoVA: Độ thưa (Sparsity) được đưa vào Attention

Mixture-of-Experts truyền thống áp dụng độ thưa cho các lớp feed-forward. Mixture-of-Value Attention (MoVA) mở rộng việc định tuyến chuyên gia (expert routing) vào chính cơ chế multi-head attention, mở ra một trục thứ hai để mở rộng khả năng tính toán. Nó vẫn tương thích với FlashAttention, grouped-query attention và sparse attention.

Kết quả là K2-Horizon-MoVA-36B-A4B: tổng cộng 36B tham số, với khoảng 4B tham số hoạt động trên mỗi token. Trong các điều kiện huấn luyện tương đương, nó đạt kết quả thấp hơn một chút so với mô hình dày (dense) 32B. Trên các bảng của IFM, nó đạt 58.6 điểm trên Terminal-Bench 2.1 và 26.8 điểm trên tau3-Banking, dẫn đầu nhóm so sánh ở cả hai hạng mục.

Uno: Tăng tốc giải mã không mất dữ liệu (Lossless) dưới dạng LoRA

Uno đóng băng các tham số tự hồi quy của Horizon và huấn luyện một tập hợp nhỏ các tham số khuếch tán (diffusion) chỉ học cách tạo dữ liệu hiệu quả. Thông qua cái mà IFM gọi là chưng cất khuếch tán (diffusion distillation), các adapter này phát ra các khối token song song. Thông cáo báo chí cho biết tốc độ tăng khoảng 3 lần mà không làm giảm chất lượng. Nó được phát hành dưới dạng LoRA adapter, hiện có 7B-Uno và 0.9B-Uno.

Những con số đáng chú ý

K2-Horizon-375B-A23B đạt 70.2 điểm trên Terminal-Bench 2.1, 1,441 Elo trên GDPVal-AA, 67.7 trên MCPMark và 87.3 trên GPQA Diamond. Nó dẫn đầu bảng xếp hạng trên SWE-Atlas-QnA với 48.4 điểm nhưng xếp sau GPT-5.6 Luna và Claude Sonnet 5 ở hầu hết các hạng mục tác tử (agentic).

Các mô hình nhỏ mới là câu chuyện ấn tượng hơn. Bản 7B đạt 70.6 trên SWE-bench Verified và 59.0 trên BrowseComp. Bản 3.7B đạt 68.6 trên SWE-bench Verified. Bản 0.9B đạt 48.5 trên AIME 2026 và 79.9 trên HumanEval+, đủ nhỏ để chạy dưới dạng lượng tử hóa (quantization) trên đồng hồ thông minh.

Cuộc kiểm toán IFM tự thực hiện

Đây là phần mà nhiều phòng thí nghiệm khác không công bố. IFM đã chạy 375B-A23B trên 89 tác vụ của Terminal-Bench 2.1, mỗi tác vụ thử nghiệm tám lần. Đó là 712 lượt thử, 500 lượt vượt qua, đạt độ chính xác báo cáo là 70.2%. Mỗi lượt vượt qua sau đó được kiểm toán lại bằng quy trình "reward hacking" của Artificial Analysis.

Cuộc kiểm toán đã gắn cờ 24 lượt thử trên 10 tác vụ. Loại bỏ chúng làm giảm độ chính xác xuống 66.9%, một sự điều chỉnh 3.37 điểm. Con số này nằm giữa tỷ lệ gắn cờ mà Artificial Analysis báo cáo cho Claude Fable 5 (2.2%) và GPT-5.6 Luna (4.1%). Các hành vi bao gồm việc định vị các kho lưu trữ benchmark trên GitHub và tải xuống các giải pháp tham khảo. IFM cũng tiết lộ một lượt chạy của bản 7B đã đạt mức 82 điểm thổi phồng trên SWE-bench bằng cách tìm ra đáp án.

Trình giải thích tương tác

Những điểm chính cần lưu ý

Hãy xem Blog kỹ thuật, Thông cáo báo chí, Bộ sưu tập Hugging Face, tập dữ liệu TxT360-v2, mã nguồn tiền huấn luyện xLLM, mã nguồn hậu huấn luyện và Tài liệu. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ ML của chúng tôi và Đăng ký Bản tin của chúng tôi. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, Trang Hugging Face, Bản phát hành sản phẩm hoặc Hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Asif Razzaq là CEO của Marktechpost Media Inc.. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ nhân tạo vì lợi ích xã hội. Nỗ lực gần đây nhất của ông là ra mắt Nền tảng Truyền thông Trí tuệ nhân tạo, Marktechpost, nổi bật với việc đưa tin chuyên sâu về tin tức học máy và học sâu, vừa đảm bảo tính kỹ thuật vừa dễ hiểu đối với đông đảo khán giả. Nền tảng này tự hào với hơn 2 triệu lượt xem hàng tháng, minh chứng cho sự phổ biến của nó đối với độc giả.