Đại học Princeton giới thiệu Recurrent Looped Transformer (RLT): Đột phá kiến trúc với cơ chế truyền trạng thái liên tục

Trong hầu hết các mô hình LLM chỉ có bộ giải mã (decoder-only), không có dữ liệu nào được tính toán tại lớp cuối cùng của token t được truyền sang lớp đầu tiên của token t+1; các vị trí chỉ giao tiếp thông qua cơ chế attention trên các khóa (keys) và giá trị (values) đã được lưu trong bộ nhớ đệm (cache). Một báo cáo kỹ thuật của nhà nghiên cứu Yifan Zhang tại Princeton, mang tên Recurrent Looped Transformer (RLT), đề xuất việc khép kín vòng lặp này. Trạng thái ẩn cuối cùng của bộ giải mã và bộ nhớ đệm sliding-window attention (SWA) theo từng lớp của nó được chuyển sang token tiếp theo, xuyên suốt cả phần prompt và phản hồi, mà không cần thiết lập lại tại ranh giới. Nghiên cứu này là một đặc tả thiết kế. Nó định nghĩa kiến trúc, lịch trình thực thi và hợp đồng phát lại RL (RL replay contract), đồng thời nêu rõ rằng chưa có kết quả đo lường về hiệu suất, chất lượng suy luận hay khả năng mở rộng.

Cách thức xây dựng RLT

Recurrent Looped Transformer (RLT) kết hợp một bộ mã hóa nhân quả (causal encoder) với một bộ giải mã hồi quy (recurrent decoder). Bộ mã hóa xử lý các token song song dưới một mặt nạ nhân quả (causal mask) và tạo ra các biểu diễn e_t, từ đó bộ nhớ key-value M≤t được chiếu ra; các nhóm bộ nhớ có thể được chia sẻ giữa các lớp bộ giải mã (G = 1) hoặc giữ riêng biệt theo từng lớp (G = L_D).

Bộ giải mã duy trì tính hồi quy. Trạng thái hoàn chỉnh của nó là Ht = (st, CtD), trong đó st là đầu ra cuối cùng của bộ giải mã và CtD lưu giữ các khóa và giá trị SWA tại mọi lớp của bộ giải mã. Đối với mỗi token, một cơ chế gated merge sẽ kết hợp et với đầu ra trước đó s{t-1}, sau đó mỗi khối bộ giải mã thực hiện SWA nhân quả trên các kích hoạt (activations) của bộ giải mã, cross-attention với bộ nhớ của bộ mã hóa và một lớp FFN. Cửa sổ W bao gồm cả token hiện tại, vì vậy tối đa W – 1 mục lịch sử được lưu giữ cho mỗi lớp. Phân phối của token tiếp theo được đọc từ st, và quá trình khởi tạo diễn ra một lần trước BOS với trạng thái bắt đầu đã học s* và bộ nhớ đệm trống.

Cấu hình tham chiếu sử dụng 48 lớp bộ mã hóa và 48 lớp bộ giải mã với các trọng số attention và FFN tương thích được chia sẻ giữa chúng. Do đó, mỗi token thực thi 96 khối logic, mặc dù các khối bộ giải mã có thêm cross-attention, nên số lượng FLOPs trên mỗi khối không bằng nhau. Zhang gọi đây là việc tái sử dụng tham số, không phải sao chép kích hoạt.

3 Nguyên tắc thiết kế

Huấn luyện và Phục vụ (Training and Serving)

Tiền huấn luyện là quá trình dự đoán token tiếp theo trên toàn bộ chuỗi với lan truyền ngược đầy đủ qua thời gian (full backpropagation through time). SFT che (mask) phần mất mát (loss) đối với các mục tiêu trợ lý nhưng không bao giờ che các cập nhật trạng thái, vì vậy các tổn thất của trợ lý lan truyền ngược qua các token người dùng và công cụ. Phụ lục B cho thấy lý do tại sao việc tách rời một phần (partial detaching) lại rủi ro: Jacobian từ trạng thái sang trạng thái có các số hạng chéo thông qua KV của bộ giải mã, vì vậy việc chỉ tách rời st sẽ để lại các đường dẫn gradient thông qua bộ nhớ đệm; bất kỳ lược đồ truncated-BPTT nào cũng phải chỉ định rõ mọi tensor đã tách rời.

Đối với phục vụ đa lượt (multi-turn serving), một bản chụp (snapshot) tiền tố chính xác bao gồm bộ nhớ đệm và bộ nhớ của bộ mã hóa, trạng thái bộ giải mã hoàn chỉnh, siêu dữ liệu vị trí, quy ước cửa sổ và phiên bản mô hình. Một bản chụp trọng số cố định có thể được tái sử dụng vì trạng thái độc lập với việc phân tách phục vụ; các cập nhật trọng số làm mất hiệu lực các trạng thái cũ, và việc chỉnh sửa tiền tố buộc phải tính toán lại từ một checkpoint trước đó. Các token bên ngoài trong RL đa lượt sẽ cập nhật trạng thái nhưng không nhận được các hệ số tỷ lệ quan trọng (importance-ratio factors).

Mối liên hệ với các nghiên cứu trước đây

Bộ nhớ bắt nguồn từ bộ mã hóa tuân theo YOCO, vốn lưu trữ KV một lần cho cross-decoder, và DeepSeek-V4.1-Flash, vốn chiếu KV toàn cục của bộ giải mã từ các trạng thái cuối của bộ mã hóa; RLT giữ lại bộ nhớ nhưng loại bỏ việc bỏ qua bộ giải mã trên toàn bộ prompt. Phản hồi tạm thời (temporal feedback) được xây dựng dựa trên Feedback Transformer và Recurrent Transformer; thay vào đó, RLT đưa đầu ra cuối cùng của bộ giải mã trước đó vào đầu vào của bộ giải mã tiếp theo và thực hiện hồi quy trên cả prompt. Việc tái sử dụng theo chiều sâu kết nối với Universal Transformers và suy luận tiềm ẩn theo chiều sâu hồi quy; lập luận về phát lại (replay argument) mở rộng ghi chú của Zhang về sự không khớp nhân (kernel mismatch) giữa prefill và decode.

Giải thích tương tác

Những điểm chính cần lưu ý

Hãy xem Báo cáo kỹ thuật, kho lưu trữ GitHub và Trang dự án. Mọi công lao đều thuộc về nhà nghiên cứu của dự án này. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ của chúng tôi và Đăng ký Bản tin của chúng tôi. Khoan đã! bạn có dùng Telegram không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, Trang Hugging Face, Phát hành sản phẩm hoặc Hội thảo trực tuyến, v.v. của bạn? Hãy kết nối với chúng tôi.