Laya (OS Jev) hiện đã hỗ trợ chạy offline trên chip Mac M4 thông qua CoreML với hiệu suất ấn tượng 45 quyết định mỗi giây. Người dùng có thể cài đặt qua uv và tải mô hình cục bộ để trải nghiệm trực tiếp.
Love this. 🙌 MiniCPM5-2B was built for exactly this: on-device, offline, download from Hugging Face…
DịchMiniCPM5-2B là mô hình AI nhỏ gọn với 2.5 tỷ tham số, hỗ trợ ngữ cảnh 128K và khả năng suy luận offline. Với cơ chế tự sửa lỗi thông minh, đây được đánh giá là mô hình mã nguồn mở mạnh nhất trong phân khúc dưới 4B tham số.
