FlyBy: Giúp mô hình suy luận nhỏ biết khi nào cần 'cầu cứu' các model mạnh hơn

Xem PDF HTML (thử nghiệm)

Tóm tắt: Mở rộng quy mô tính toán tại thời điểm suy luận (test-time computation) là một phương pháp mạnh mẽ để cải thiện khả năng lập luận của các mô hình ngôn ngữ, đặc biệt hấp dẫn đối với các mô hình lập luận nhỏ (sRM) có chi phí vận hành thấp. Tuy nhiên, liệu việc suy nghĩ thêm có phải lúc nào cũng là thao tác đúng đắn? Bằng cách can thiệp vào các trạng thái lập luận trung gian trên hai dòng mô hình và nhiều quy mô khác nhau, chúng tôi nhận thấy rằng việc tự tinh chỉnh (self-refinement) chủ yếu củng cố xác suất vào các giải pháp đã có thể đạt được từ trạng thái hiện tại, thay vì tạo ra các giải pháp mới. Những can thiệp này cho thấy hai dạng thất bại: nút thắt cổ chai về thực thi (execution bottlenecks), nơi lộ trình đúng có thể đạt được và việc phản tư có thể khôi phục nó, và nút thắt cổ chai về tri thức (knowledge bottlenecks), nơi thông tin bên ngoài phù hợp giúp lộ trình đó trở nên khả thi. Dựa trên sự phân biệt này, chúng tôi giới thiệu FlyBy, một khung truy vấn chọn lọc, và huấn luyện các biến thể 4B và 8B để lập luận trước, chẩn đoán những gì chưa được giải quyết, và tại nút thắt cổ chai về tri thức, sẽ truy vấn các mô hình mạnh hơn có tri thức tham số vượt xa chính nó. Quá trình tinh chỉnh có giám sát (supervised fine-tuning) khởi động hành động truy vấn đa tầng, và học tăng cường nhận thức chi phí (cost-aware reinforcement learning) hiệu chỉnh việc có nên truy vấn hay không, hỏi những gì và chi phí bao nhiêu. Trên 1.158 bài toán khó qua sáu bộ tiêu chuẩn đánh giá, FlyBy-4B đạt 45,96% pass@8, vượt qua Qwen3-14B (41,64%) với chi phí vận hành thấp hơn 2,7 lần, đồng thời vượt trội hơn Qwen3-8B về pass@1 (16,85% so với 15,31%). Việc mở rộng lên FlyBy-8B tiếp tục cải thiện pass@8 lên 51,81%.

Lịch sử gửi bài

Từ: Chanuk Lee [xem email] [v1] Thứ Hai, 28 tháng 9 năm 2026 05:07:24 UTC (956 KB)