# FLEET: Tối ưu hóa tạo văn bản thông qua phân tích entropy và quỹ đạo token

- Nguồn: HuggingFace Daily Papers (bài nghiên cứu nổi bật của cộng đồng)
- Thời gian phát hành: 2026-09-23 07:00 (giờ Việt Nam)
- Điểm AI: 36/100
- Link AIHOT.vn: https://aihot.vn/items/7fa3b78ab904c2c8
- Nguồn dữ liệu AI HOT: https://aihot.news/items/cmufdsjtd07jvroagf60az9a8
- Link gốc: https://arxiv.org/abs/2609.27657

## Tóm tắt AI

FLEET cải thiện hiệu suất LLM bằng cách theo dõi các quỹ đạo có độ entropy cao để điều chỉnh logits, giúp tăng tốc độ tạo văn bản gấp 3 lần và cải thiện đáng kể độ chính xác trên LiveCodeBench.

## Thân bài

[Xem PDF](https://arxiv.org/pdf/2609.27657) [HTML (thử nghiệm)](https://arxiv.org/html/2609.27657v1)

> Tóm tắt: Các giải pháp dựa trên mô hình ngôn ngữ lớn (LLM) thường dựa vào lấy mẫu nhiệt độ (temperature sampling) để cải thiện độ chính xác và tính ổn định bằng cách tổng hợp nhiều mẫu từ phân phối hoàn thiện. Tuy nhiên, phương pháp không lưu trữ trạng thái (memoryless) này vốn dĩ không tối ưu: do thiếu nhận thức về các thế hệ trước và đánh giá của chúng, nó tạo ra tỷ lệ câu trả lời trùng lặp về mặt ngữ nghĩa ngày càng tăng khi lấy thêm mẫu, dẫn đến hiệu quả giảm dần. Để giải quyết hạn chế này, chúng tôi giới thiệu FLEET, một phương pháp mới tích hợp cơ chế bộ nhớ vào quá trình tạo văn bản. FLEET biểu diễn mỗi thế hệ dưới dạng một quỹ đạo thưa thớt thông qua các trạng thái có entropy vượt quá ngưỡng xác định trước và sử dụng các quỹ đạo này để suy luận điểm hữu ích trên mỗi token nhằm điều chỉnh các logit. Các đánh giá chuẩn cho thấy FLEET đạt được độ chính xác tương đương với phương pháp lấy mẫu lặp lại cơ sở, với tốc độ nhanh gấp 3 lần và cải thiện đáng kể độ chính xác trong các tác vụ lập trình phức tạp (LiveCodeBench Pass@32 tăng từ 59,9% lên 66,2%) trong cùng một ngân sách. Hơn nữa, trong cấu hình giải mã tham lam (greedy-decoding) được đánh giá ở đây, phương pháp này mang tính tất định và sử dụng một lượt hiệu chuẩn duy nhất để suy ra các siêu tham số chính, chỉ yêu cầu sửa đổi tối thiểu đối với các pipeline LLM hiện có.

| Bình luận: | 25 trang, 8 hình ảnh. Mã nguồn thuật toán và các thí nghiệm: liên kết này tại đây |
| --- | --- |
| Chủ đề: | Học máy (cs.LG); Trí tuệ nhân tạo (cs.AI); Tính toán và Ngôn ngữ (cs.CL) |
| Các lớp MSC: | 68T20, 68T07, 94A17, 68P05 |
| Các lớp ACM: | I.2.7; I.2.8 |
| Trích dẫn là: | arXiv:2609.27657 [cs.LG] |
|  | (hoặc arXiv:2609.27657v1 [cs.LG] cho phiên bản này) |
|  | https://doi.org/10.48550/arXiv.2609.27657 DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký) |

### Lịch sử gửi bài

Từ: Oleksandra Vitko [xem email](https://arxiv.org/show-email/f6f59365/2609.27657)] [v1] Thứ Tư, 23 tháng 9 năm 2026 10:26:25 UTC (339 KB)