PROOF-Gen: Tối ưu hóa dữ liệu để nâng cao hiệu quả chưng cất tri thức trong gọi công cụ

Tác giả: Anh Ta, Junjie Zhu, Shahin Shayandeh

Tinh chỉnh có giám sát (supervised fine-tuning) trên các quỹ đạo (trajectories) do giáo viên tạo ra là giai đoạn đầu tiêu chuẩn để chưng cất (distilling) khả năng gọi công cụ vào các mô hình có thể triển khai. Các quy trình hậu đào tạo (post-training pipelines) vận hành các tác nhân gọi công cụ (tool-calling agents) thường chạy lại giai đoạn này theo chu kỳ hàng ngày hoặc hàng tuần, phải trả chi phí cho giáo viên tiên phong (frontier-teacher) trong mỗi chu kỳ. Tuy nhiên, cơ chế hiện tại là tạo và lọc (giữ lại các quỹ đạo thành công của giáo viên, loại bỏ phần còn lại) và mỗi chu kỳ đều bỏ sót những kịch bản khó tương tự vì các thất bại không cung cấp tín hiệu học tập. Trên τ 2-bench, 57% các thử nghiệm của giáo viên thất bại, trong đó hai phần ba là các lỗi suýt soát (hầu hết các lệnh gọi công cụ đều đúng, nhưng bị hỏng bởi một lỗi quyết định).

Chúng tôi giới thiệu PROOF-Gen (Per-scenario Reflective Optimization to Overcome Failed Generation - Tối ưu hóa phản hồi theo từng kịch bản để khắc phục quá trình tạo lỗi), giúp khôi phục các quỹ đạo chuẩn (golden trajectories) từ những thất bại này thông qua việc tối ưu hóa prompt theo từng kịch bản. Đối với mỗi tác vụ thất bại, một bộ phản hồi (reflector) sẽ phân tích dấu vết thực thi và phản hồi đánh giá, sau đó viết hướng dẫn điều chỉnh để dẫn dắt giáo viên tạo ra quỹ đạo thành công. Hướng dẫn này sẽ được loại bỏ trước khi đào tạo, vì vậy mô hình học viên (student) học từ các minh chứng sạch mà không cần bất kỳ khung hỗ trợ cụ thể nào cho tác vụ.

Trên τ 2-bench, việc tối ưu hóa theo từng kịch bản giúp khôi phục 93% các kịch bản thất bại. Khi được tinh chỉnh trên dữ liệu kết hợp, Qwen3-4B-Instruct-2507 cải thiện từ Passˆ1=0.132 lên 0.529 và Gemma 4 E4B-it tăng +7.2pp trên BFCL v4 đa lượt (multi-turn). Trong một quy trình triển khai thực tế, phương pháp này nâng cao chất lượng quỹ đạo thêm +6.3pp về tỷ lệ hoàn thành mục tiêu và chuyển đổi sang mô hình trên thiết bị (on-device model) (+1.5pp về tỷ lệ hoàn thành mục tiêu; +1.7 đến +5.0pp trên các chỉ số chất lượng phản hồi), với sự chuyển đổi tích cực ở mọi ngôn ngữ (trung bình các ngôn ngữ không phải tiếng Anh tăng +1.48pp).

Các bài đọc và cập nhật liên quan.

Chưng cất theo chính sách (on-policy distillation) cung cấp sự giám sát dày đặc trên từng token để đào tạo các mô hình suy luận; tuy nhiên, vẫn chưa rõ trong điều kiện nào tín hiệu này có lợi và trong điều kiện nào nó gây hại. Nên sử dụng mô hình giáo viên nào, và trong trường hợp tự chưng cất (self-distillation), ngữ cảnh cụ thể nào nên đóng vai trò là tín hiệu giám sát? Lựa chọn tối ưu có thay đổi từ token này sang token khác không? Hiện tại, việc giải quyết các câu hỏi này thường…

Đọc thêm

Chúng tôi đề xuất một định luật mở rộng chưng cất (distillation scaling law) giúp ước tính hiệu suất của mô hình được chưng cất dựa trên ngân sách tính toán và sự phân bổ ngân sách đó giữa học viên và giáo viên. Các phát hiện của chúng tôi giúp giảm thiểu rủi ro liên quan đến việc chưng cất quy mô lớn bằng cách cho phép phân bổ tối ưu tài nguyên tính toán cho cả giáo viên và học viên nhằm tối đa hóa hiệu suất của học viên. Chúng tôi cung cấp các công thức chưng cất tối ưu về tính toán cho hai kịch bản chính: khi đã có sẵn giáo viên, và khi…

Đọc thêm