Bước ngoặt AI trên di động: Bonsai 27B cho phép iPhone 17 Pro chạy mô hình lớn cục bộ

Cảm ơn bạn đọc "" của IT đã gửi thông tin đóng góp!

Theo tin từ IT ngày 15 tháng 7, tài khoản chính thức @PrismML hôm nay (15 tháng 7) đã đăng bài công bố ra mắt mô hình Bonsai 27B. Được tinh chỉnh dựa trên mô hình Qwen 3.6 27B, Bonsai 27B có thể chạy nguyên bản trên iPhone với 12GB RAM trong khi vẫn giữ lại 90% mức độ thông minh.

Mô hình Qwen 3.6 27B nâng cao hơn nữa khả năng của AI cục bộ, tập trung vào các khía cạnh như suy luận đa bước, sử dụng công cụ có cấu trúc, quy trình làm việc với ngữ cảnh dài và các vòng lặp tác nhân (agent loop) mạch lạc.

Ở độ chính xác 16-bit, mô hình Qwen 3.6 27B chiếm tới 54GB dung lượng, và ngay cả ở độ chính xác 4-bit, mô hình này vẫn cần 18GB. Đối với điện thoại và hầu hết các máy tính xách tay, mức tiêu thụ bộ nhớ này là quá cao, khiến nó không thể hoạt động bình thường.

Mô hình Bonsai 27B được tinh chỉnh dựa trên Qwen 3.6 27B, ra mắt với hai phiên bản 3-bit và 1-bit:

Ternary (3-bit) Bonsai 27B: 5.9 GB, 1.71 bit hiệu dụng trên mỗi trọng số, được tối ưu hóa cho chất lượng cấp máy tính xách tay.

1-bit Bonsai 27B: 3.9 GB, 1.125 bit hiệu dụng trên mỗi trọng số, được tối ưu hóa cho dung lượng lưu trữ cấp điện thoại.

Tim Carambat, kỹ sư phần mềm người Mỹ và là nhà sáng lập của ứng dụng AI cục bộ mã nguồn mở AnythingLLM, cho biết: "Tầm ảnh hưởng của nó còn lớn hơn nhiều so với Fable, Mythos hay GPT 5.6. Thậm chí có thể quan trọng hơn tất cả những cái tên đó cộng lại. Đây mới chính là khoảnh khắc DeepSeek thực sự của AI."

IT đính kèm các ảnh chụp màn hình liên quan dưới đây:

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian sàng lọc, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết của IT đều bao gồm tuyên bố này.