PrismML ra mắt Bonsai 27B: Mô hình Qwen3.6-27B siêu nén, chạy mượt trên laptop và điện thoại

PrismML vừa phát hành Bonsai 27B. Đây là phiên bản biểu diễn low-bit của Qwen3.6-27B, không phải là một mô hình tiền huấn luyện (pretrain) mới. Kiến trúc của nó vẫn được giữ nguyên.

Hai biến thể được phát hành theo giấy phép Apache 2.0. Ternary Bonsai 27B sử dụng các trọng số {−1, 0, +1} với mức 1,71 bit trên mỗi trọng số. Kích thước lý tưởng của nó là 5,9GB. 1-bit Bonsai 27B sử dụng các trọng số nhị phân {−1, +1} với mức 1,125 bit trên mỗi trọng số, cho dung lượng 3,9GB.

Cả hai đều là mô hình đa phương thức (multimodal). Cấu trúc bao gồm khoảng 24,8B trọng số ngôn ngữ, một tháp thị giác (vision tower) 0,46B, và 2,5B cho các embedding và LM head. Tháp thị giác được lưu trữ riêng biệt ở định dạng 4-bit (HQQ). Ngữ cảnh (context) là 262K token, được duy trì ở mức thực tế nhờ vào việc khoảng 75% cơ chế attention của Qwen3.6-27B là tuyến tính (linear).

Kiến trúc đó định hình phương pháp nén dưới đây.

Cách thức hoạt động của quá trình nén

Mỗi trọng số là một mã, với một hệ số tỷ lệ (scale) FP16 dùng chung cho mỗi nhóm 128 trọng số. Trọng số hiệu dụng là w_i = s_g · t_i.

Một giá trị tam phân (ternary) mang log2(3) ≈ 1,585 bit. Một hệ số tỷ lệ FP16 cho mỗi 128 trọng số cộng thêm 16/128, cho ra khoảng 1,71 bit trên mỗi trọng số. Đó là mức giảm khoảng 9,4 lần so với FP16. Định dạng nhị phân tốn 1 + 16/128 = 1,125 bit, mức giảm khoảng 14,2 lần.

Cách biểu diễn này chạy xuyên suốt các thành phần nặng về ma trận. Đó là các embedding, các phép chiếu attention, các phép chiếu MLP và LM head. Chỉ một phần nhỏ không đáng kể các tham số chuẩn hóa và tỷ lệ là được giữ ở độ chính xác cao hơn.

Nếu đo lường theo mức trung bình thực tế, bản dựng Qwen3.6-27B “4-bit” (Q4_K_XL) đạt 5,2 bit trên mỗi trọng số. Bản dựng “2-bit” (IQ2_XXS) đạt 2,8. Bonsai cũng khác biệt so với BitNet, vốn chỉ tránh được sự sụp đổ mô hình bằng cách tiền huấn luyện từ đầu.

Câu hỏi hiển nhiên là việc nén này gây tổn thất bao nhiêu về độ chính xác.

Hiệu năng

PrismML đã đánh giá 15 tiêu chuẩn (benchmark) ở chế độ tư duy (thinking mode), sử dụng EvalScope với vLLM trên các GPU H100. Ternary Bonsai 27B giữ lại 94,6% hiệu năng so với bản gốc FP16, và 1-bit Bonsai 27B giữ lại 89,5%.

Các bản dựng dưới 4-bit thông thường thất bại theo cách khác. IQ2_XXS giảm xuống 57,5 trên AIME26 và 56,4 trên LiveCodeBench. Nó vẫn đạt 88,93 trên MMLU-Redux, vì vậy các tiêu chuẩn dạng ngắn đã che giấu sự sụp đổ này. Gemma-4-31B Q2_K_XL cũng lặp lại mô hình tương tự trên một mô hình cơ sở thứ hai.

Tuy nhiên, điểm số đơn thuần không giải thích được lý do phát hành. Bộ nhớ mới là yếu tố quyết định.

Bộ nhớ là ràng buộc then chốt

Việc cài đặt trên điện thoại khắt khe hơn những con số lưu trữ gợi ý. iOS giới hạn một ứng dụng chỉ được sử dụng khoảng một nửa bộ nhớ vật lý. Do đó, một chiếc iPhone 12GB chỉ có thể sử dụng khoảng 6GB.

KV cache là ngân sách thứ hai. Chỉ 16 trong số 64 lớp mang theo bộ nhớ đệm full-attention đang tăng dần, vì vậy FP16 tốn ≈64 KiB/token. Một cửa sổ 262K tốn ≈17,2GB, và KV cache 4-bit cắt giảm con số đó xuống ≈4,3GB.

Độ sai lệch được đo lường cụ thể. So với đường cơ sở FP16-KV của chính nó, Ternary Bonsai cho thấy 0,0011 nats của output forward-KL trên MATH-500. Q4_K_XL cho thấy 0,0146.

Các đỉnh điểm tiêu thụ bộ nhớ như sau: Tại 100K token với bộ nhớ đệm FP16, bản 1-bit đạt đỉnh ở 11,6GB và bản tam phân ở 14,7GB. Bản Q4_K_XL cần ≈25,6GB.

Khi mô hình đã vừa với bộ nhớ, thông lượng (throughput) là câu hỏi tiếp theo.

Thông lượng và DSpark Speculative Decoding

Quá trình tạo văn bản bị giới hạn bởi băng thông bộ nhớ, vì vậy ít byte hơn trên mỗi bước đồng nghĩa với nhiều token hơn trên mỗi giây. Quá trình tiền nạp (prefill) bị giới hạn bởi khả năng tính toán và thu được ít lợi ích hơn.

PrismML cũng cung cấp một trình soạn thảo (drafter) DSpark được huấn luyện dựa trên mục tiêu Bonsai 27B. Trên H100 với độ sâu dự đoán k=4, mục tiêu nhị phân đạt độ dài chấp nhận τ=3,6. Tương đương 143,8 tok/s, tốc độ tăng 1,37 lần. Quá trình xác minh là không mất dữ liệu (lossless), vì vậy đầu ra vẫn giữ nguyên phân phối. Trên Apple Silicon, trình soạn thảo này mặc định tắt ở batch size 1.

Cách vận hành

Ternary 27B là mặc định trong demo repo. Hãy khởi động máy chủ hoặc tạo văn bản trực tiếp:

Việc gọi công cụ (tool calling) sử dụng mảng công cụ theo phong cách OpenAI tiêu chuẩn:

Lệnh gọi trả về trong choices[0].message.tool_calls. Chế độ tư duy được bật mặc định; thinking_budget_tokens cho phép bật/tắt chế độ này theo từng yêu cầu.

Điều đó ánh xạ tới bốn mô hình triển khai.

Các trường hợp sử dụng

Các tác nhân (agent) chạy cục bộ trên laptop sử dụng bản dựng tam phân cho công việc lập trình trên toàn bộ kho lưu trữ với 262K token. Suy luận cục bộ trên điện thoại sử dụng bản dựng 1-bit; tài liệu kỹ thuật đo lường được 672 token trên mỗi 1% pin iPhone. Các quy trình làm việc ngoại tuyến và ưu tiên quyền riêng tư giữ các câu lệnh (prompt) trên thiết bị theo thiết kế. Kết hợp với KV cache 4-bit, việc phục vụ trên một GPU đơn lẻ có thể đạt chất lượng tương đương dòng 27B trên một card 24GB.

Những điểm chính cần lưu ý

Hãy xem các chi tiết kỹ thuật, GitHub Repo và Model Weight. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ ML của chúng tôi và đăng ký Bản tin của chúng tôi. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, bản phát hành sản phẩm hoặc hội thảo trực tuyến của bạn? Hãy kết nối với chúng tôi.