85
Tin ngành
Mặt Bích AI chia sẻ tầm nhìn về mô hình 2B chạy cục bộ
(giờ Việt Nam)
Tóm tắt AI
Mặt Bích AI khẳng định tầm nhìn về việc chạy các mô hình 2B tối ưu trên thiết bị cá nhân. Với kích thước chỉ 1.56GB sau khi lượng tử hóa, mô hình đạt tốc độ hơn 200 token/giây trên RTX 4090 mà vẫn giữ được hiệu năng tương đương các mô hình 4B.
Bài viết được AI dịch và tổng hợp tự động từ X: OpenBMB (@OpenBMB). Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.