Mô hình
Ra mắt phiên bản MiniCPM5-2B định lượng EXL3 4-bit: Nhẹ hơn, chạy mượt trên GPU cũ
(giờ Việt Nam)
Nguyên văn trên X
⚡ Making MiniCPM5-2B even more lightweight for local inference!
Dịch · tóm tắt AI
Cộng đồng vừa phát hành bản định lượng 4.0 bpw EXL3 cho MiniCPM5-2B, giúp giảm dung lượng xuống còn 1.61 GB. Với tốc độ đạt 68–70 tokens/s trên NVIDIA Tesla T4, đây là lựa chọn tối ưu cho việc chạy mô hình cục bộ qua ExLlamaV3 và TabbyAPI.
Bài viết được AI dịch và tổng hợp tự động từ X: ModelBest OpenBMB (@OpenBMB). Liên kết bài gốc ở phía trên. Dữ liệu đồng bộ qua API công khai được ghi nguồn tại AI HOT (canonical) ↗. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.