Meta ra mắt mô hình 30B Muse Glimmer: Chạy mượt trên GPU 24GB nhờ tối ưu lượng tử hóa

Theo tin từ IT ngày 10 tháng 8, Meta hôm nay đã ra mắt mô hình AI Muse Glimmer và mở mã nguồn trọng số của mô hình này theo giấy phép Apache 2.0. Muse Glimmer là một mô hình sở hữu 30 tỷ tham số (30B), được tối ưu hóa chuyên sâu cho các quy trình làm việc của tác nhân (Agent) cục bộ hoạt động thường trực 24/7.

Phía Meta cho biết, Muse Glimmer đã áp dụng công nghệ lượng tử hóa 4bit, cho phép mô hình chạy cục bộ trên các máy Mac hoặc PC có dung lượng VRAM từ 24GB đến 32GB. Các thử nghiệm thực tế xác nhận rằng việc nén này có tác động không đáng kể đến hiệu suất tác vụ của tác nhân, gần như không gây ra bất kỳ sự suy giảm nào.

Meta đã tiến hành thử nghiệm trên các nền tảng MacBook M4 Max, M5 Max và RTX 5090. Kết quả cho thấy tốc độ vận hành của mô hình đủ khả năng đáp ứng các cuộc hội thoại mượt mà và tương tác tác nhân theo thời gian thực, đồng thời mọi tính toán đều được thực hiện 100% trên thiết bị cục bộ.

So với Gemma4-31B và Qwen3.6-27B, Muse Glimmer đã thể hiện hiệu suất mạnh mẽ trong cùng phân khúc kích thước mô hình ở nhiều bài kiểm tra đánh giá (benchmark) mô hình ngôn ngữ lớn phổ biến.

IT đính kèm liên kết mã nguồn mở:

https://huggingface.co/meta-models/Muse-Glimmer-30B

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài có trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, giúp tiết kiệm thời gian chọn lọc; kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết có chứa liên kết ngoài của IT đều bao gồm tuyên bố này.