Nghiên cứu
Thay đổi phép nhân, giữ nguyên tham số: Lớp đại số kết hợp cho kiến trúc Transformer
(giờ Việt Nam)
Tóm tắt AI
Nghiên cứu đề xuất thay thế phép nhân ma trận thông thường bằng các bảng tương tác thưa hơn, giúp giảm độ phức tạp tính toán cho Transformer mà vẫn giữ nguyên số lượng tham số và khả năng tương thích với GPU.
Chính văn · Bản dịch AI
Tóm tắt: Các thuật toán nhân ma trận nhanh giữ nguyên tích số và tìm kiếm cách tính toán rẻ hơn. Thay vào đó, chúng tôi đặt câu hỏi liệu các phép chiếu đã học của Transformer có thể sử dụng một loại tích khác, rẻ hơn hay không. Dựa trên cấu trúc đại số kết hợp thay thế phép nhân ma trận thông thường bằng bảng tương tác thưa hơn trên cùng các khối trọng số, chúng tôi xây dựng một họ thuật toán với độ phức tạp số học bậc hai theo kích thước ma trận khi kích thước khối vật lý được giữ cố định, đồng thời rút ra các ràng buộc về hình dạng hữu hạn cho việc thực thi trên GPU. Cấu trúc này được chứng minh là tối ưu cho hạng song tuyến tính của nó theo giới hạn Alder--Strassen và có thể được hiện thực hóa dưới dạng các phép chiếu hình chữ nhật theo kiểu hàng, tương thích với cơ chế che mặt nhân quả (causal masking) và giải mã có bộ nhớ KV (KV-cached decoding). Chúng tôi cung cấp một thử nghiệm thực nghiệm cho phương pháp này bằng cách huấn luyện hai mô hình ngôn ngữ Transformer chỉ giải mã (decoder-only) với khoảng 110 triệu tham số từ cùng một công thức và ngân sách 12,3 tỷ token, chỉ khác nhau ở lớp feed-forward: một mô hình sử dụng phép nhân ma trận dày đặc thông thường và mô hình kia sử dụng tích đại số kết hợp. Trên bốn miền gợi ý (prompt domains), mô hình đại số đạt mức tăng 6,2--7,8% về thông lượng tạo văn bản từ đầu đến cuối, trong khi đạt điểm thấp hơn trên cả ba chỉ số hạ nguồn được báo cáo. Chúng tôi coi các kết quả này là bước kiểm tra tính khả thi và khả năng huấn luyện cho phương pháp đề xuất ở quy mô nhỏ, dành các nghiên cứu sâu hơn cho công việc trong tương lai.
| Bình luận: | Đang được đánh giá |
| Chủ đề: | Học máy (cs.LG); Hiệu năng (cs.PF) |
| Trích dẫn là: | arXiv:2609.32814 [cs.LG] |
| (hoặc arXiv:2609.32814v1 [cs.LG] cho phiên bản này) | |
| https://doi.org/10.48550/arXiv.2609.32814 DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký) |
Lịch sử gửi bài
Từ: Ilya Koziev [xem email] [v1] Thứ Bảy, 26 tháng 9 năm 2026 17:39:58 UTC (129 KB)
Bài viết được AI dịch và tổng hợp tự động từ Hugging Face Daily Papers. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.