Tencent Hunyuan ra mắt phiên bản Hy3 1bit và 4bit: Mô hình AI flagship có thể chạy cục bộ trên một GPU

Cảm ơn bạn đọc của IT đã gửi thông tin đóng góp!

Tin từ IT ngày 14 tháng 7, hôm nay Tencent Hunyuan thông báo rằng kể từ khi Hy3 ra mắt và mở mã nguồn, cộng đồng đã liên tục kêu gọi các phiên bản lượng tử hóa (quantized) để có thể chạy mô hình Hy3 với 295 tỷ tham số trên một card đồ họa duy nhất. Đáp ứng nhu cầu từ cộng đồng mã nguồn mở, đội ngũ phát triển đã thực hiện lượng tử hóa trọng số của Hy3 xuống mức 1bit và 4bit, đóng gói thành định dạng GGUF. Kết hợp với hệ sinh thái llama.cpp, mô hình vốn chỉ có thể chạy trên các cụm máy chủ nhiều card giờ đây đã có thể vận hành trên tối thiểu một card đồ họa suy luận, thậm chí là trên các máy tính cá nhân có đủ bộ nhớ.

IT đính kèm giới thiệu chi tiết từ phía chính thức như sau:

Xét về mô hình, Tencent Hunyuan Hy3 là một mô hình flagship với 295 tỷ tham số, thể hiện mức độ thông minh vượt trội đáng kể so với các mô hình cùng kích thước và sánh ngang với hiệu suất của các mô hình flagship có kích thước lớn hơn. Điều này giúp nâng cao đáng kể giá trị thực tiễn trong nhiều loại sản phẩm và tác vụ năng suất. Tuy nhiên, trọng số BF16 của nó lên tới gần 600 GB, nên để phát huy tối đa sức mạnh, cần phải có môi trường triển khai như máy chủ nhiều card đồ họa.

1bit nhét vừa một card, 4bit đạt hiệu suất gần như nguyên bản

Trước hết, chúng tôi cung cấp phiên bản lượng tử hóa cực hạn 1bit IQ1_M, nén trọng số từ 598 GB xuống còn 85,5 GiB, giảm tới 6,7 lần. Điều này có nghĩa là chỉ cần một card đồ họa suy luận 96GB là có thể triển khai được. Đối với các kịch bản bị hạn chế về phần cứng nhưng vẫn muốn chạy mô hình flagship tại chỗ, phiên bản Hy3 1bit là lựa chọn mà chúng tôi khuyến nghị.

Đồng thời, chúng tôi cũng cung cấp phiên bản lượng tử hóa 4bit Q4_K_M với dung lượng 169,9 GiB, chỉ cần hai card đồ họa suy luận là có thể vận hành. Nếu mục tiêu là đạt được hiệu suất gần với mô hình nguyên bản nhất trong giới hạn chi phí tài nguyên, chúng tôi khuyên bạn nên chọn phiên bản Hy3 4bit.

Chúng tôi cũng cung cấp phiên bản GPTQ Int4, có thể triển khai trực tiếp thông qua vLLM để cung cấp dịch vụ ra bên ngoài, tận dụng lợi thế của hệ sinh thái vLLM về khả năng xử lý đồng thời cao và độ trễ thấp, phù hợp hơn với nhu cầu triển khai phía máy chủ.

Nén dung lượng, nhưng năng lực không hề suy giảm

Cách trực tiếp nhất để đánh giá chất lượng lượng tử hóa là xem phân phối đầu ra của nó gần với mô hình gốc đến mức nào. Phiên bản 4bit thể hiện rất xuất sắc ở điểm này; ở đại đa số các vị trí, câu trả lời ưu tiên và phân phối xác suất Top-K đều nhất quán với mô hình BF16. Điều này cũng đúng với các tác vụ thực tế, từ khả năng Agent, mã nguồn đa ngôn ngữ, gọi công cụ cho đến khả năng hiểu văn bản dài, kết quả đều tiệm cận với mô hình nguyên bản. Ngoài ra, mức độ sụt giảm điểm số trên các tập đánh giá của mô hình GPTQ Int4 cũng rất hạn chế, hoàn toàn nằm trong phạm vi chấp nhận được.

Điều thực sự khiến chúng tôi ngạc nhiên là phiên bản 1bit. Theo trực giác, khi nén xuống gần mức 1bit, mô hình ít nhiều sẽ trở nên "ngốc" hơn, nhưng phiên bản Hy3 1bit của chúng tôi vẫn đứng vững trên các tác vụ chính. Khả năng hiểu văn bản dài gần như ngang bằng với mô hình gốc, khả năng Agent và lập trình cũng được duy trì khá tốt, chỉ giảm nhẹ. Đối với các tác vụ hỗ trợ lập trình hàng ngày, gọi công cụ, xử lý tài liệu dài và hỏi đáp thông thường, nó đã hoàn toàn đáp ứng đủ nhu cầu.

Tăng tốc giải mã bằng MTP

Để Hy3 thực sự chạy mượt mà, kỹ thuật giải mã suy đoán (speculative decoding) MTP là không thể thiếu. Vì vậy, chúng tôi đã phát triển riêng bản vá (patch) cho llama.cpp, bổ sung hỗ trợ MTP cho cấu trúc mô hình Hy3 và công bố trực tiếp hướng dẫn xây dựng và triển khai (chi tiết xem tại https://huggingface.co/AngelSlim/Hy3-GGUF). Sau khi bật MTP, tỷ lệ chấp nhận ổn định ở mức khoảng 60%, tốc độ giải mã của phiên bản 1bit tăng khoảng 50% và phiên bản 4bit tăng gần 60%, mang lại trải nghiệm tương tác thực tế vẫn rất mượt mà.

Thông báo quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian chọn lọc, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết của IT đều bao gồm thông báo này.