ByteShape ra mắt Qwen 3.8 27B với kỹ thuật lượng tử hóa ShapeLearn: Hiệu năng vượt trội trên 6 dòng GPU

Chúng tôi đã hơi thiếu kiên nhẫn một chút.

Qwen 3.8 27B được phát hành vào ngày 14 tháng 8 năm 2026. Bốn ngày sau, vào ngày 18 tháng 8, chúng tôi đã công bố bộ GGUF đầu tiên của mình. Chúng tôi gọi chúng là ShapeLearn-Lite vì một lý do: chúng được tạo ra với ngân sách tối ưu hóa nhỏ hơn nhiều, ít bước kiểm tra hơn và thời gian chờ đợi ít hơn đáng kể.

Giờ đây, các mô hình ShapeLearn đầy đủ đã hoàn thiện và chúng tôi đã thực hiện đánh giá hiệu năng (benchmark) chúng cùng với bộ Lite ban đầu và các bản lượng tử hóa (quant) cạnh tranh khác.

Tin tốt là: ShapeLearn-Lite vẫn duy trì phong độ khá tốt. Chúng tôi sẽ quay lại vấn đề này sau trong phần “ShapeLearn-Lite, nhìn lại”.

Tin tốt hơn là: các mô hình ShapeLearn đầy đủ thậm chí còn tốt hơn nữa.

Khởi động nhanh với llama.cpp

MTP draft head được tích hợp sẵn trong mọi GGUF. DFlash2 sử dụng một mô hình dự thảo (draft model) riêng biệt dung lượng 1.1 GB. Cả hai lệnh đều sử dụng GPU-5. Bạn có thể thay đổi thẻ (tag) cho bất kỳ mô hình nào khác trong bản phát hành.

MTP Embedded draft. Hoạt động với đầu vào là hình ảnh.

DFlash2 External draft. Tùy chọn nhanh nhất, chỉ dành cho văn bản.

DFlash2 cần llama.cpp phiên bản b10658 trở lên. Các lệnh chạy ngay cho mọi mô hình, cùng với các cài đặt lấy mẫu (sampling settings) được khuyến nghị, đều có trong công cụ run và trên thẻ mô hình (model card).

Tóm tắt (TL;DR)

ShapeLearn đầy đủ mở rộng giới hạn hiệu năng

Chúng tôi đang phát hành bản chạy ShapeLearn đầy đủ cho Qwen 3.8 27B.

Trong bản phát hành này, các mô hình lớn hơn mang lại điểm số tổng hợp cao hơn, trong khi các mô hình nhỏ hơn cung cấp thông lượng (throughput) cao hơn. Thứ tự đó được duy trì trên cả sáu GPU được thử nghiệm. Vì đây là mô hình dày đặc (dense model) và việc truyền tải bộ nhớ là điểm nghẽn, nên BPW thấp hơn sẽ trực tiếp dẫn đến TPS cao hơn so với các mô hình MoE.

Các so sánh trên mỗi GPU cũng bao gồm AtomicChat, Bartowski, ISTA-DASLab, Prism-ML Ternary Bonsai 2 và Unsloth Dynamic v3. Các mô hình mới nhất của Bartowski được phát hành sau khi chúng tôi thử nghiệm nên không được đưa vào. ShapeLearn đầy đủ được dán nhãn ByteShape trong các biểu đồ.

Tất cả năm mô hình ShapeLearn đều nằm trên giới hạn hiệu năng (frontier) được đo lường, với GPU-5 đạt điểm tổng hợp cao nhất trong số các bản lượng tử hóa được biểu diễn. Các đội ngũ khác cũng đóng góp những điểm số cạnh tranh. Đáng chú ý, mô hình xuất sắc của ISTA-DASLab (chữ “d” màu vàng trên biểu đồ bên dưới) cũng nằm trên giới hạn này.

Các mô hình Ternary Bonsai 2 của Prism-ML (chữ “a” và “b” màu xám) là những điểm nhanh nhất trên mọi GPU. Ở mức 1.77 và 2.14 BPW, chúng cũng là những mô hình nhỏ nhất. Chúng đạt 91.4% và 91.7% so với BF16, thấp hơn GPU-1 ở mức 93.0%. Chúng cũng cần một bản build tùy chỉnh: llama.cpp gốc không chạy được các mô hình này.

Với thuật ngữ “giới hạn hiệu năng” (frontier), chúng tôi muốn nói rằng không có mô hình nào khác được biểu diễn vừa nhanh hơn lại vừa chính xác hơn.

96 GB: RTX Pro 6000

RTX PRO 6000, GPU có bộ nhớ lớn nhất, cho phép chúng tôi hiển thị đầy đủ các mô hình đã thử nghiệm.

GPU-5 là lựa chọn mặc định của chúng tôi ở bất cứ đâu bạn có thể cài đặt: nó đạt 90.4 tok/s ở mức 99.63% so với baseline BF16.

32 GB: RTX 5090

RTX 5090 cho kết quả tương tự, dẫn đến các khuyến nghị giống hệt.

Một lần nữa, GPU-5 là lựa chọn mặc định của chúng tôi, đạt 93.7 tok/s. Hãy chọn GPU-4 nếu bạn cần độ dài ngữ cảnh (context length) lớn hơn một chút hoặc TPS tốt hơn một chút.

24 GB: RTX 4090 và RTX 3090

Cả hai card 24 GB đều chứa được cả năm mô hình ShapeLearn. Chúng tôi vẽ biểu đồ riêng biệt vì thông lượng của chúng khác nhau, nhưng thứ tự trên cả hai là như nhau.

RTX 4090

RTX 4090 vẫn giữ nguyên mô hình: GPU-5 là mặc định, đạt 59.2 tok/s.

RTX 3090

Cũ hơn, nhưng vẫn nhanh trong các phép đo này.

GPU-4 đạt 49.5 tok/s, so với 45.8 tok/s của GPU-5. Chuyển sang mô hình lớn hơn sẽ mất khoảng 7.5% thông lượng, trong khi điểm tổng hợp tăng từ 98.72% lên 99.63% so với BF16. Điều đó khiến GPU-5 trở thành lựa chọn mặc định ở đây.

16 GB: RTX 4080 và RTX 5060 Ti

Với ngân sách VRAM hạn hẹp hơn, lựa chọn thực tế là để dành không gian cho ngữ cảnh bạn cần, thay vì chỉ tập trung vào trọng số mô hình. Các biểu đồ này chứa ít cấu hình cạnh tranh hơn, nhưng tất cả năm mô hình ShapeLearn đều được đại diện.

RTX 4080

Trên RTX 4080, GPU-4 đạt 52.4 tok/s, trong khi GPU-5 đạt 45.7 tok/s.

RTX 5060 Ti

Trên RTX 5060 Ti, các con số tương ứng là 33.1 tok/s và 29.1 tok/s.

GPU-5 vẫn là mặc định trên cả hai card khi mô hình, bộ nhớ đệm KV (KV cache) và bộ đệm runtime nằm gọn trong ngân sách bộ nhớ của bạn. Khi không đủ, GPU-4 vẫn rất cạnh tranh: gần 99% so với BF16 ở kích thước nhỏ hơn nhiều và nhanh hơn. Một mô hình xuất hiện trong các phép đo này không đảm bảo rằng mọi độ dài ngữ cảnh hoặc cấu hình phục vụ (serving configuration) đều sẽ chạy được.

ShapeLearn-Lite, nhìn lại