Nghiên cứu · meng shao
Cohere ra mắt North Mini Code: Mô hình lập trình mã nguồn mở mạnh mẽ
Cohere giới thiệu North Mini Code, mô hình lập trình MoE 30B/3B hiệu năng cao với khả năng xử lý ngữ cảnh lớn và tối ưu hóa cho tác vụ Agent, vượt qua nhiều đối thủ cùng phân khúc trong các bài kiểm t
Tóm tắt
Cohere giới thiệu North Mini Code, mô hình lập trình MoE 30B/3B hiệu năng cao với khả năng xử lý ngữ cảnh lớn và tối ưu hóa cho tác vụ Agent, vượt qua nhiều đối thủ cùng phân khúc trong các bài kiểm tra lập trình.
Vì sao đáng chú ý
Đây là bước tiến quan trọng trong hệ sinh thái mã nguồn mở, cung cấp giải pháp lập trình chuyên sâu với kiến trúc MoE tối ưu, rất hữu ích cho cộng đồng lập trình viên và AI Agent.
Nội dung dịch chi tiết
Cohere đã chính thức phát hành North Mini Code, mô hình lập trình mã nguồn mở đầu tiên của hãng. Mô hình sử dụng kiến trúc Mixture-of-Experts (MoE) với tổng cộng 30B/3B tham số, bao gồm 128 chuyên gia và kích hoạt 8 chuyên gia cho mỗi token. Hệ thống hỗ trợ đầu vào lên tới 256K và đầu ra 64K, yêu cầu tối thiểu 1 GPU H100 (định dạng FP8) để vận hành.
Quy trình huấn luyện của North Mini Code trải qua ba giai đoạn hậu huấn luyện (post-training) nghiêm ngặt: SFT phân tầng (bao gồm dữ liệu suy luận và gọi công cụ Agent), RLVR (sử dụng thuật toán CISPO, lấy mẫu bất đồng bộ, huấn luyện kết hợp môi trường Terminal và SWE), và cuối cùng là khả năng tổng quát hóa chéo khung làm việc.
Trong lĩnh vực lập trình Agent, mô hình đạt chỉ số Artificial Analysis Coding Index là 33.4. Kết quả này giúp North Mini Code dẫn đầu các mô hình mã nguồn mở cùng phân khúc như Qwen3.5 35B-A3B hay Gemma 4, đồng thời vượt qua Nemotron 3 Super 120B, dù vẫn thấp hơn một chút so với Qwen3.6 35B-A3B (khoảng 35.2).
Về tốc độ suy luận, North Mini Code nhanh hơn tới 2.8 lần so với Devstral Small 2, với độ trễ giữa các từ giảm khoảng 30%. Tuy nhiên, khả năng thực hiện các tác vụ Agent phi lập trình của mô hình này còn hạn chế. Nhà phát triển khuyến nghị sử dụng tham số temperature=1.0 và top_p=0.95 để đạt hiệu quả tối ưu.
Ý chính từ bài gốc
- North Mini Code là mô hình lập trình mã nguồn mở đầu tiên của Cohere với kiến trúc MoE (30B/3B tham số).
- Hỗ trợ cửa sổ ngữ cảnh lớn: 256K đầu vào và 64K đầu ra, yêu cầu tối thiểu 1 GPU H100.
- Quy trình huấn luyện gồm 3 giai đoạn: SFT phân tầng, RLVR (thuật toán CISPO) và tổng quát hóa chéo.
- Hiệu suất lập trình Agent đạt 33.4 điểm trên Artificial Analysis Coding Index, vượt nhiều đối thủ cùng phân khúc.
- Tốc độ suy luận nhanh gấp 2.8 lần so với Devstral Small 2, độ trễ giảm 30%.
Bài viết được AI dịch và tổng hợp tự động từ X/Twitter. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.