FLEET: Tối ưu hóa tạo văn bản thông qua phân tích entropy và quỹ đạo token

Xem PDF HTML (thử nghiệm)

Tóm tắt: Các giải pháp dựa trên mô hình ngôn ngữ lớn (LLM) thường dựa vào lấy mẫu nhiệt độ (temperature sampling) để cải thiện độ chính xác và tính ổn định bằng cách tổng hợp nhiều mẫu từ phân phối hoàn thiện. Tuy nhiên, phương pháp không lưu trữ trạng thái (memoryless) này vốn dĩ không tối ưu: do thiếu nhận thức về các thế hệ trước và đánh giá của chúng, nó tạo ra tỷ lệ câu trả lời trùng lặp về mặt ngữ nghĩa ngày càng tăng khi lấy thêm mẫu, dẫn đến hiệu quả giảm dần. Để giải quyết hạn chế này, chúng tôi giới thiệu FLEET, một phương pháp mới tích hợp cơ chế bộ nhớ vào quá trình tạo văn bản. FLEET biểu diễn mỗi thế hệ dưới dạng một quỹ đạo thưa thớt thông qua các trạng thái có entropy vượt quá ngưỡng xác định trước và sử dụng các quỹ đạo này để suy luận điểm hữu ích trên mỗi token nhằm điều chỉnh các logit. Các đánh giá chuẩn cho thấy FLEET đạt được độ chính xác tương đương với phương pháp lấy mẫu lặp lại cơ sở, với tốc độ nhanh gấp 3 lần và cải thiện đáng kể độ chính xác trong các tác vụ lập trình phức tạp (LiveCodeBench Pass@32 tăng từ 59,9% lên 66,2%) trong cùng một ngân sách. Hơn nữa, trong cấu hình giải mã tham lam (greedy-decoding) được đánh giá ở đây, phương pháp này mang tính tất định và sử dụng một lượt hiệu chuẩn duy nhất để suy ra các siêu tham số chính, chỉ yêu cầu sửa đổi tối thiểu đối với các pipeline LLM hiện có.

Lịch sử gửi bài

Từ: Oleksandra Vitko [xem email] [v1] Thứ Tư, 23 tháng 9 năm 2026 10:26:25 UTC (339 KB)