Meituan mã nguồn mở mô hình ngôn ngữ nghìn tỷ tham số LongCat-2.0, hỗ trợ tối ưu chip nội địa

Theo tin từ IT之家 ngày 6 tháng 7, hôm nay Meituan đã chính thức mã nguồn mở mô hình ngôn ngữ lớn nghìn tỷ tham số LongCat-2.0.

Theo giới thiệu, LongCat-2.0 có tổng cộng 1,6T tham số, với trung bình khoảng 48B tham số được kích hoạt. Mô hình này được tạo ra dành riêng cho các tác vụ Agentic Coding thực tế. Về kiến trúc, nó giới thiệu một cách sáng tạo cơ chế LongCat Sparse Attention (chú ý thưa) và N-gram Embedding, giúp nâng cao hiệu suất xử lý ngữ cảnh dài và khả năng biểu diễn ở cấp độ token, đồng thời kết hợp với cơ chế kích hoạt động (dynamic activation) để tăng cường hiệu quả trong việc hiểu, tạo và thực thi mã nguồn.

Phía nhà phát triển cho biết, là mô hình nghìn tỷ tham số đầu tiên trong ngành hoàn thành suy luận trên cụm tính toán nội địa quy mô 50.000 card, LongCat-2.0 hiện đã được mã nguồn mở hoàn toàn. Đối với các chip tính toán nội địa bị hạn chế về bộ nhớ video và băng thông, mô hình đã được tối ưu hóa phối hợp sâu từ kiến trúc, khả năng tương thích với chip cho đến chiến lược triển khai, giúp mô hình nghìn tỷ tham số có thể vận hành ổn định và nhanh chóng ngay cả trên các dòng card hiện có.

IT之家 lưu ý rằng, đợt mã nguồn mở lần này cung cấp đồng thời các phiên bản đa độ chính xác như BF16, FP8 và INT8, đáp ứng toàn diện nhu cầu triển khai trên các nền tảng tính toán khác nhau. Đồng thời, các kết quả suy luận đã được tối ưu hóa tối đa cho năng lực tính toán nội địa cũng được công bố mã nguồn mở. Điều này có nghĩa là ngay cả khi không sở hữu năng lực tính toán mới nhất, người dùng vẫn có thể vận hành ổn định LongCat-2.0 dựa trên phần cứng hiện có.

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, giúp tiết kiệm thời gian sàng lọc, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết trên IT之家 đều bao gồm tuyên bố này.