Tái tham số hóa Softmax: Giải pháp tối ưu hóa lượng tử hóa lớp đầu ra cho mô hình ngôn ngữ

Xem PDF HTML (thử nghiệm)

Tóm tắt: Từ vựng lớn khiến các đầu ra (output heads) trở thành chi phí suy luận đáng kể trong các mô hình ngôn ngữ nhỏ. Chúng tôi đề xuất phương pháp tái tham số hóa softmax (softmax reparameterization), một phương pháp hậu huấn luyện giúp chọn ra một đầu ra tương đương về mặt chức năng trước khi thực hiện lượng tử hóa. Phương pháp này trừ đi một bội số vô hướng của giá trị trung bình hàng từ vựng khỏi mỗi hàng đầu ra và chọn hệ số thông qua KL kiểm chứng riêng biệt cho RTN, MSE trọng số kích hoạt và GPTQ Hessian đầy đủ. Quá trình tìm kiếm một chiều này bao gồm đầu ra gốc và phương pháp căn giữa trung bình cố định, bảo toàn phân phối softmax độ chính xác đầy đủ và giữ nguyên bộ giải mã (decoder) đã huấn luyện; một hiệu chỉnh hạng nhất xử lý các đường dẫn logit phi tuyến tính như soft-capping. Trên bảy đầu ra, các mức tăng W4 tập trung ở những nơi lượng tử hóa cơ sở làm sai lệch đáng kể các dự đoán: trên Phi-4-mini, chỉ số AW-MSE KL giảm từ 0,936 xuống 0,256. Các mức tăng này vẫn duy trì hiệu quả với hiệu chuẩn GPTQ mạnh hơn và bổ sung cho việc mở rộng quy mô theo kênh (per-channel scaling) chính xác và lượng tử hóa affine. Trên bốn đầu ra và ba bộ lượng tử hóa W4, các hệ số được chọn từ WikiText cố định cũng chuyển đổi sang C4 và OpenWebMath, vượt trội hơn so với phương pháp căn giữa trung bình trong tất cả 18 so sánh mà hệ số cố định khác 1 và tương đương trong sáu trường hợp còn lại. Tại W2, được sử dụng như một bài kiểm tra áp lực nén, các lợi ích mở rộng trên gần như toàn bộ ma trận mô hình-bộ lượng tử hóa. Phân tích phần dư khớp cho thấy độ trung thực được cải thiện có thể đi kèm với sai số tái tạo logit lớn hơn trong khi vẫn giảm chi phí trọng số Fisher của phần dư. Đối với các đầu ra tương thích với dịch chuyển, việc tái tham số hóa không thêm thao tác suy luận nào và bảo toàn quá trình thực thi W4 đã đóng gói: với bộ giải mã giữ ở định dạng BF16, việc lượng tử hóa đầu ra Phi giúp giảm độ trễ tạo văn bản theo lô đơn (batch-one) xuống 10,8% so với mức cơ sở đầu ra BF16.

Lịch sử gửi bài

Từ: Asim Kadav [xem email] [v1] Thứ Sáu, 25 tháng 9 năm 2026 14:01:25 UTC (76 KB)