On-Policy Delta Distillation: Phương pháp chưng cất mô hình mới giúp tối ưu khả năng suy luận

Tóm tắt AI

Nghiên cứu giới thiệu 'delta signal' - phương pháp chưng cất mới giúp chuyển giao khả năng suy luận hiệu quả hơn bằng cách tập trung vào sự khác biệt giữa mô hình giáo viên và mô hình cơ sở, thay vì chỉ bắt chước phân phối đầu ra thông thường.