Nghiên cứu
Draft-KV: Tối ưu hóa giao tiếp tiềm ẩn giữa các mô hình ngôn ngữ
(giờ Việt Nam)
Tóm tắt AI
Nghiên cứu giới thiệu Draft-KV, phương pháp truyền trạng thái Key-Value thay vì văn bản giải mã giữa các mô hình, giúp tăng hiệu suất đáng kể với chi phí huấn luyện cực thấp chỉ 1,05 triệu tham số.
Chính văn · Bản dịch AI
Tóm tắt: Giao tiếp tiềm ẩn (latent communication) truyền các trạng thái nội bộ giữa các mô hình ngôn ngữ thay vì văn bản đã giải mã, nhưng độ chính xác cao hơn của bên nhận không chứng minh rằng bên nhận đã sử dụng nội dung thông điệp. Qua năm cặp phương pháp-tập dữ liệu, việc thay thế mỗi thông điệp bằng một thông điệp từ câu hỏi không liên quan chỉ làm thay đổi độ chính xác tối đa 0,60 điểm, ngay cả khi giao tiếp giúp tăng 15,44 điểm so với việc chỉ dùng bên nhận. Do đó, giao diện có thể cung cấp mức tăng này trong khi khiến bên chia sẻ trở nên không cần thiết. Draft-KV thay vào đó gửi các trạng thái key-value được hình thành trong khi bên chia sẻ soạn thảo câu trả lời cho câu hỏi hiện tại. Các phép chiếu tuyến tính đặt các trạng thái này vào một bộ nhớ phụ được đọc thông qua nhánh chú ý có cổng (gated attention branch), và quá trình huấn luyện tăng dần chuyển từ tái tạo thông điệp sang giám sát câu trả lời dưới sự kiểm soát về tác hại từ các thông điệp không khớp. Cả hai mô hình đều được giữ nguyên (frozen) và giao diện chỉ huấn luyện 1,05 triệu tham số, ít hơn 348 lần so với C2C. Với bên chia sẻ Qwen3-8B, bên nhận Qwen2.5-0.5B-Instruct được giữ nguyên đạt 78,04% trên MMLU-Redux, so với 37,45% khi đứng một mình và 36,40% với các thông điệp được gán lại. Ở kích thước giao diện cố định, việc mở rộng bên chia sẻ từ 0,6B lên 8B giúp tăng độ chính xác từ 46,11% lên 78,04%; giao tiếp cũng chuyển đổi sang các tác vụ chưa từng thấy (held-out tasks) và có thể vượt qua cả hai mô hình khi mỗi bên nắm giữ các bằng chứng khác nhau.
| Bình luận: | 41 trang, 7 hình, 13 bảng. Mã nguồn: this https URL |
| Chủ đề: | Tính toán và Ngôn ngữ (cs.CL) |
| Trích dẫn là: | arXiv:2609.34754 [cs.CL] |
| (hoặc arXiv:2609.34754v1 [cs.CL] cho phiên bản này) | |
| https://doi.org/10.48550/arXiv.2609.34754 DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký) |
Lịch sử gửi bài
Từ: Linquan Wu [xem email] [v1] Thứ Hai, 28 tháng 9 năm 2026 09:42:01 UTC (479 KB)
Bài viết được AI dịch và tổng hợp tự động từ Hugging Face Daily Papers. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.