KronQ: Tối ưu hóa nén mô hình ngôn ngữ lớn bằng phương pháp Hessian phân rã Kronecker

Tóm tắt AI

KronQ là phương pháp nén mô hình (PTQ) mới giúp cải thiện độ chính xác bằng cách kết hợp cả thống kê kích hoạt và hiệp phương sai gradient, thay vì chỉ dựa vào dữ liệu đầu vào như các phương pháp truyền thống.