Bonsai 27B: Mô hình suy luận mã nguồn mở chạy mượt mà trên iPhone

PrismML lập luận rằng các ứng dụng AI hiện đại ngày càng cần những mô hình mạnh mẽ để chạy cục bộ. Một tác nhân (agent) có thể thực hiện hàng trăm lệnh gọi mô hình liên tiếp, mỗi lệnh đều mang theo ngữ cảnh, tạo ra đầu ra có cấu trúc và chuyển tiếp sang bước tiếp theo. Trên đám mây, chi phí tính theo token sẽ tăng dần, mỗi lệnh gọi đều làm tăng độ trễ mạng, đồng thời các kết quả trung gian, lệnh gọi công cụ và dữ liệu riêng tư như nội dung màn hình hoặc tài liệu đều bị đưa ra khỏi thiết bị.

Tuy nhiên, việc chạy mô hình trên thiết bị giúp cắt giảm chi phí biên của các vòng lặp đó xuống bằng không và giữ dữ liệu người dùng ở lại thiết bị. PrismML coi đây là nền tảng cho các tác nhân luôn hoạt động, trợ lý ngoại tuyến và các hệ thống lai. Các tác vụ đơn giản và nhạy cảm về quyền riêng tư sẽ được xử lý trên thiết bị, trong khi chỉ những bước khó nhất mới được gửi đến các mô hình tiên tiến trên đám mây.

Theo một báo cáo của CNBC, PrismML hiện đang đàm phán với Apple về công nghệ nén đứng sau Bonsai. CEO Babak Hassibi của PrismML xác nhận rằng Apple và các công ty khác đang thử nghiệm các mô hình này về tốc độ, mức tiêu thụ điện năng và hiệu suất. Các cuộc đàm phán đang ở giai đoạn "rất sớm", nhưng "mọi thứ đang tiến triển tốt đẹp".

Hai phiên bản đưa mô hình lên máy tính xách tay và điện thoại thông minh

Một mô hình có kích thước này thường chiếm khoảng 54 GB dung lượng lưu trữ. Ngay cả với phương pháp nén tiêu chuẩn, nó vẫn cần khoảng 18 GB. PrismML cung cấp hai phiên bản nhỏ hơn nhiều: Biến thể tập trung vào chất lượng chiếm khoảng 5,9 GB và dành cho máy tính xách tay, mặc dù các gói hiện đang được phát hành có thể lớn hơn tùy thuộc vào môi trường thực thi (runtime). Sách trắng liệt kê khoảng 7,2 GB cho phiên bản llama.cpp và 8,49 GB cho phiên bản MLX.

Biến thể nhỏ hơn có dung lượng khoảng 3,9 GB, đủ nhỏ để vừa với bộ nhớ hạn chế của iPhone 17 Pro Max. Theo PrismML, một chiếc iPhone có 12 GB RAM thực tế chỉ cung cấp khoảng 6 GB cho một ứng dụng duy nhất, được chia sẻ giữa mô hình và bộ nhớ đệm (cache).

Thay vì lưu trữ mỗi trọng số mạng thần kinh dưới dạng 16 bit, PrismML chỉ sử dụng một hoặc dưới hai bit. Ở biến thể mạnh mẽ nhất, mỗi trọng số chỉ có hai trạng thái. Ở biến thể lớn hơn một chút, là ba trạng thái. Cách tiếp cận này được áp dụng trên toàn bộ mô hình ngôn ngữ. Để làm ví dụ về các vấn đề dán nhãn phổ biến, PrismML chỉ ra bản dựng Qwen3.6-27B-IQ2_XXS được so sánh trong sách trắng, vốn có trung bình 2,8 bit cho mỗi trọng số mặc dù nhãn là "2-bit".

PrismML cho biết việc nén có tác động hạn chế đến chất lượng

Trong đánh giá của riêng PrismML trên 15 tiêu chuẩn (benchmark), biến thể lớn hơn giữ lại 95% hiệu suất của mô hình gốc. Biến thể nhỏ hơn giữ lại 90%. Theo PrismML, các tác vụ toán học và lập trình "gần như không bị ảnh hưởng".

Những sự sụt giảm lớn hơn xuất hiện với phương pháp nén mạnh hơn, đặc biệt là trong khả năng hiểu hình ảnh, tuân thủ hướng dẫn và sử dụng công cụ dựa trên tác nhân. Một mô hình Qwen3.6-27B được nén thông thường ở mức 9,4 GB chỉ đạt 72,7 điểm, trong khi biến thể Bonsai nhỏ hơn ở mức 3,9 GB đạt 76,1 điểm.

Theo sách trắng, biến thể nhỏ hơn tạo ra khoảng 11 token mỗi giây trên iPhone 17 Pro Max. Một bài kiểm tra pin cho thấy khoảng 672 token được tạo ra trên mỗi phần trăm pin, tương đương với khoảng 67.000 token khi sạc đầy. Chip xử lý bị giảm hiệu năng (throttle) nhẹ sau hơn năm phút một chút.

Apple có thể sử dụng công nghệ này để thu hẹp khoảng cách AI cục bộ của mình

Các trọng số mô hình có sẵn theo giấy phép Apache 2.0. Bonsai 27B chạy trên các thiết bị Apple thông qua khung MLX của Apple và trên các GPU NVIDIA. PrismML cũng cung cấp API Developer Preview miễn phí có giới hạn thời gian và bản demo trực tiếp trên HuggingFace.

Công ty được thành lập với sự hỗ trợ từ Khosla Ventures, Cerberus và Google, đồng thời Samsung vẫn tiếp tục hỗ trợ công ty. PrismML dự định áp dụng công nghệ nén của mình cho dòng mô hình Gemma của Google tiếp theo, các phiên bản nhỏ hơn của dòng này đã chạy được trên điện thoại thông minh.

Một công nghệ nén được cấp phép cũng sẽ quan trọng đối với Apple, khi các mô hình của chính họ cho đến nay vẫn tụt hậu so với các đối thủ trong các bài kiểm tra hiệu năng. Tại WWDC 2026, Apple đã công bố Siri được cải tiến dựa trên các mô hình nền tảng do Google phát triển bằng công nghệ Gemini. Mô hình chạy trên thiết bị mạnh mẽ nhất hiện yêu cầu iPhone có ít nhất 12 GB RAM và các truy vấn phức tạp được chạy trên GPU Nvidia trong đám mây của Apple.