Ant Group mở mã nguồn mô hình Ling-3.0: Chia sẻ chi tiết lộ trình huấn luyện

21/08/2026 · 05:54 (giờ Việt Nam)

Tóm tắt AI

Ant Group chính thức công bố mã nguồn hai mô hình Ling-3.0-tiny và Ling-3.0-flash, đồng thời cung cấp công khai 6 điểm kiểm tra (checkpoint) quan trọng từ quá trình tiền huấn luyện và huấn luyện trung gian.

Bản dịch AI

Theo tin từ IT ngày 21 tháng 8, Ant Group Bailing đã lần lượt mã nguồn mở các mô hình Ling-3.0-tiny và Ling-3.0-flash trong tháng này. Hôm qua, phía chính thức thông báo chính thức mã nguồn mở Ling-3.0-tiny-base và Ling-3.0-flash-base. Ngoài checkpoint Base cuối cùng, họ cũng sẽ đồng thời mở quyền truy cập vào các checkpoint trọng số của giai đoạn tiền huấn luyện và huấn luyện trung hạn cho hai mô hình này, tổng cộng là 6 checkpoints.

Checkpoint tiền huấn luyện: Đã hoàn thành tiền huấn luyện quy mô lớn, chưa thực hiện huấn luyện trung hạn, hợp nhất WSM và hậu huấn luyện;

Checkpoint huấn luyện trung hạn: Đã hoàn thành huấn luyện trung hạn, chưa thực hiện hợp nhất WSM và hậu huấn luyện;

Checkpoint hợp nhất WSM: Đã hoàn thành hợp nhất WSM dựa trên checkpoint huấn luyện trung hạn, chưa thực hiện hậu huấn luyện.

Ghi chú của IT: Mô hình Base thường đề cập đến các mô hình tiền huấn luyện cơ bản chưa được tinh chỉnh cho các tác vụ cụ thể, được phát triển và tối ưu hóa ngay từ đầu trong quá trình huấn luyện, nhằm mục đích cân bằng giữa hiệu suất và tiêu thụ tài nguyên.

Phía chính thức cho biết, các checkpoints này phù hợp để sử dụng cho việc tiền huấn luyện liên tục, tinh chỉnh có giám sát theo lĩnh vực, tối ưu hóa ưu tiên, hậu huấn luyện bằng học tăng cường, chưng cất mô hình, cũng như nghiên cứu về ngữ cảnh dài và hệ thống MoE.

Cần lưu ý đặc biệt rằng, Base Model không phải là mô hình trò chuyện đã hoàn thành căn chỉnh chỉ dẫn. Chúng tôi không khuyến nghị triển khai trực tiếp làm dịch vụ trò chuyện cho người dùng cuối mà chưa qua hậu huấn luyện, cũng không khuyến nghị sử dụng cho các ứng dụng quan trọng về an toàn mà chưa qua căn chỉnh và đánh giá bổ sung. Mọi mục đích sử dụng trong sản xuất đều cần hoàn thành việc hậu huấn luyện, đánh giá và kiểm chứng cho các tác vụ cụ thể.

Sau khi kết thúc huấn luyện trung hạn, phía chính thức đã thay thế phương pháp suy giảm tốc độ học (learning rate decay) truyền thống bằng phương pháp hợp nhất trọng số checkpoints, gọi là WSM (Warmup-Stable and Merge). Do không còn suy giảm tốc độ học, Base Model này phù hợp hơn cho việc tiền huấn luyện liên tục và mở rộng dữ liệu động, đồng thời hỗ trợ khám phá các "đường cong suy giảm" tốc độ học khác nhau ngoại tuyến sau khi huấn luyện.

Trong đó, Ling-3.0-tiny-base (tổng tham số 7.9B, tham số kích hoạt 1.3B) đạt kết quả cao hơn trong hầu hết các bài đánh giá với tổng lượng tham số chỉ bằng khoảng 50% so với thế hệ trước; đồng thời thể hiện khả năng lập trình cạnh tranh hơn khi so sánh với các mô hình cùng quy mô.

Ling-3.0-flash-base (tổng tham số 124B, tham số kích hoạt 5.1B) sở hữu dung lượng tham số dồi dào hơn và thiết kế kích hoạt thưa (sparse activation), cung cấp cho các nhà nghiên cứu và đội ngũ phát triển một nền tảng mở có thể tiếp tục huấn luyện, mở rộng và thích ứng với các kịch bản thực tế.

Trong bảng đánh giá dưới đây, mô hình thể hiện vượt trội ở các khía cạnh lập trình, suy luận phức tạp và ngữ cảnh dài. So với các base model có tổng lượng tham số lớn gấp 2–3 lần, hiệu suất tổng thể của mô hình vẫn chiếm ưu thế.

IT đính kèm các liên kết mã nguồn mở như sau:

Ling-3.0-tiny

Hugging Face:

https://huggingface.co/inclusionAI/Ling-3.0-tiny-base

https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-30T

https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-midtrain

ModelScope:

https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base

https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-30T

https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-midtrain

Ling-3.0-flash

Hugging Face:

https://huggingface.co/inclusionAI/Ling-3.0-flash-base

https://huggingface.co/inclusionAI/Ling-3.0-flash-base-30T

https://huggingface.co/inclusionAI/Ling-3.0-flash-base-midtrain

ModelScope:

https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base

https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base-30T

https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base-midtrain