Không phải mọi bất đồng đều có thể học: Khám phá khả năng dạy của token trong chưng cất mô hình

Nội dung dịch chi tiết

Chưng cất chính sách (On-policy distillation - OPD) là kỹ thuật huấn luyện mô hình học viên dựa trên các lượt chạy của chính nó, với sự giám sát từ mô hình giáo viên ở cấp độ token. Các phương pháp OPD chọn lọc gần đây thường ưu tiên các token có độ bất định (entropy) cao hoặc có sự bất đồng lớn giữa giáo viên và học viên.

Nghiên cứu này đặt câu hỏi: Những tín hiệu nào từ giáo viên thực sự có thể học được? Thông qua chẩn đoán ngữ cảnh cố định đo lường mức độ giảm khoảng cách KL giữa giáo viên và học viên, nhóm tác giả nhận thấy rằng sự bất đồng KL thô chỉ là một thước đo sơ lược về giá trị học tập.

Sự bất đồng này trộn lẫn giữa hai loại: bất đồng có thể học (nơi giáo viên đưa ra các gợi ý sửa lỗi nằm trong top-K ứng viên của học viên) và bất đồng không tương thích (nơi giáo viên đưa ra các gợi ý nằm ngoài phạm vi hỗ trợ hiện tại của học viên).

Nhóm tác giả chính thức hóa khái niệm này thành 'khả năng dạy được của token' (token teachability). Kết quả cho thấy chỉ số này dự đoán sự cải thiện của mô hình chính xác hơn nhiều so với việc chỉ dựa vào khoảng cách KL thô.

Từ phát hiện đó, nhóm đề xuất phương pháp TA-OPD (Teachability-Aware OPD). Đây là kỹ thuật chọn lọc vị trí token nhẹ nhàng, áp dụng hàm mất mát OPD vào các vị trí có khả năng dạy được cao mà không cần đến mô hình phần thưởng hay bộ kiểm chứng.

Thử nghiệm trên các thiết lập giáo viên-học viên Qwen2.5 và Qwen 3 cho thấy TA-OPD thường vượt trội hơn so với OPD toàn bộ token, dù chỉ giữ lại 5% số lượng token. Phương pháp này cũng cải thiện đáng kể so với các phương pháp cơ sở dựa trên entropy và phân kỳ.