ReRound: Phương pháp lượng tử hóa LLM không cần hiệu chỉnh bằng cách giải quyết sai số làm tròn

Tóm tắt AI

ReRound sử dụng mô hình khuếch tán để tái tạo trọng số, giúp xác định chính xác hướng làm tròn cho các giá trị nằm gần điểm giữa của khoảng lượng tử hóa, từ đó tối ưu hóa hiệu suất LLM ở mức bit thấp.