Nghiên cứu từ Meta: Kỹ thuật lượng tử hóa khiến các mô hình suy luận trở nên 'do dự' quá mức

Tóm tắt AI

Nghiên cứu của Meta chỉ ra rằng lượng tử hóa giúp giảm chi phí nhưng lại khiến mô hình tự nghi ngờ và suy nghĩ quá mức, làm tăng tỷ lệ thất bại. Việc áp dụng hình phạt nhẹ lên các từ ngữ gây do dự có thể giúp tối ưu hóa hiệu suất mà không làm giảm độ chính xác.