IDA-OPD: Giải pháp đột phá khắc phục hạn chế đa dạng trong chưng cất mô hình ngôn ngữ

Tóm tắt AI

Nghiên cứu giới thiệu phương pháp IDA-OPD giúp mô hình học sinh kế thừa khả năng suy luận đa dạng từ giáo viên bằng cách lọc bỏ các cập nhật làm giảm entropy, thay vì chỉ tập trung vào độ chính xác đơn lẻ.