Ant Group ra mắt mô hình mã nguồn mở Ling-3.0-tiny, hỗ trợ chạy trên Mac mini và NVIDIA DGX

Theo tin từ IT ngày 11 tháng 8, Ant Group Bailing hôm nay đã mã nguồn mở mô hình Ling-3.0-tiny trên nền tảng Hugging Face. Đây là mô hình kiến trúc MoE (Mixture of Experts) suy luận hỗn hợp hạng nhẹ, với tổng số tham số là 7.9B và 1.3B tham số được kích hoạt trên mỗi Token. Phía nhà phát triển cung cấp các phiên bản trọng số BF16, FP8 và INT4 để phù hợp với nhu cầu triển khai trên các nền tảng khác nhau.

Theo giới thiệu, Ling-3.0-tiny tập trung vào khả năng suy luận chi phí thấp, sử dụng kiến trúc tuyến tính hỗn hợp hiệu quả, trong đó KDA (Kimi Delta Attention) và MLA (Multi-Head Latent Attention) được xếp chồng xen kẽ theo tỷ lệ 3:1. Mô hình áp dụng mạng truyền thẳng (FFN) MoE thưa thớt bao gồm 128 chuyên gia định tuyến (routed experts), giúp đạt được sự cân bằng giữa khả năng xử lý ngữ cảnh và chi phí tính toán.

IT lưu ý rằng mô hình này hỗ trợ chế độ phản hồi nhanh và chế độ suy luận đa bước, được thiết kế chuyên biệt cho việc triển khai cục bộ. Phía nhà phát triển đã xác thực mô hình trên các thiết bị như NVIDIA DGX Spark, Apple Silicon MacBook và Mac mini. Trên MacBook chạy chip M4 Pro, mô hình có thể đạt tốc độ suy luận khoảng 86-90 Token/s; với độ dài ngữ cảnh 8K, mức tiêu thụ bộ nhớ đỉnh điểm rơi vào khoảng 8.34 GiB.

Tham khảo:

inclusionAI/Ling-3.0-tiny · Hugging Face

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài có trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin và tiết kiệm thời gian sàng lọc; kết quả chỉ mang tính chất tham khảo. Các bài viết có chứa liên kết ngoài của IT đều bao gồm tuyên bố này.