Nghiên cứu
Transformer có thể chứa hai luồng tư duy cùng lúc: Bằng chứng về sự chồng chất tuyến tính trong LLM
(giờ Việt Nam)
Tóm tắt AI
Nghiên cứu chứng minh Transformer có khả năng xử lý đồng thời hai luồng văn bản thông qua sự chồng chất tuyến tính, cho phép giải mã song song hai kết quả từ một lần chạy duy nhất.
Chính văn · Bản dịch AI
Tóm tắt: Mặc dù các Mô hình Ngôn ngữ Lớn (LLMs) dựa vào các thành phần phi tuyến tính cao, trong nghiên cứu này, chúng tôi chứng minh rằng chúng thể hiện tính tuyến tính cơ bản: khi các đầu vào từ các luồng văn bản riêng biệt được kết hợp tuyến tính, đầu ra của mô hình là sự chồng chập của các phân phối token tiếp theo riêng lẻ. Chúng tôi gọi đây là \textit{Giả thuyết Tuyến tính Chồng chập}. Chúng tôi cung cấp bằng chứng cho thấy sự chồng chập là một đặc tính nội tại của kiến trúc Transformer thay vì là hệ quả mới nổi của quá trình huấn luyện; trên thực tế, chúng tôi quan sát thấy đặc tính này có xu hướng giảm dần khi quá trình tiền huấn luyện tiến triển. Tuy nhiên, chúng tôi chứng minh rằng tính tuyến tính có thể được khôi phục đáng kể thông qua tinh chỉnh nhẹ, giúp giảm đáng kể sự phân kỳ giữa phân phối token tiếp theo được dự đoán và giá trị trung bình của các phân phối token tiếp theo riêng lẻ. Cuối cùng, chúng tôi giới thiệu một quy trình giải mã có hướng dẫn giúp tách biệt các đầu ra chồng chập, cho phép tạo đồng thời hai chuỗi tiếp nối mạch lạc từ một lần truyền tiến duy nhất.
| Chủ đề: | Tính toán và Ngôn ngữ (cs.CL); Trí tuệ nhân tạo (cs.AI) |
| Trích dẫn là: | arXiv:2609.29845 [cs.CL] |
| (hoặc arXiv:2609.29845v1 [cs.CL] cho phiên bản này) | |
| https://doi.org/10.48550/arXiv.2609.29845 DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký) |
Lịch sử gửi bài
Từ: Pavel Tikhonov [xem email] [v1] Thứ Năm, 24 tháng 9 năm 2026 14:12:08 UTC (610 KB)
Bài viết được AI dịch và tổng hợp tự động từ HuggingFace Daily Papers (bài nghiên cứu nổi bật của cộng đồng). Liên kết bài gốc ở phía trên. Dữ liệu đồng bộ qua API công khai được ghi nguồn tại AI HOT (canonical) ↗. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.