# LatentPort: Chuyển giao bộ nhớ đệ quy giữa các mô hình ngôn ngữ lai mà không cần đọc lại ngữ cảnh

- Nguồn: Hugging Face Daily Papers
- Thời gian phát hành: 2026-09-23 07:00 (giờ Việt Nam)
- Điểm AI: 85/100
- Link AIHOT.vn: https://aihot.vn/items/5f8e1f565801e9d6
- Link gốc: https://arxiv.org/abs/2609.25053

## Tóm tắt AI

Nghiên cứu giới thiệu kỹ thuật LatentPort cho phép chuyển giao trạng thái bộ nhớ trực tiếp giữa Qwen3.5 4B và 9B mà không cần nạp lại tiền tố, giúp tối ưu hóa hiệu suất suy luận thông qua việc tái sử dụng trạng thái Gated DeltaNet.

## Thân bài

[Xem PDF](https://arxiv.org/pdf/2609.25053) [HTML (thử nghiệm)](https://arxiv.org/html/2609.25053v1)

> Tóm tắt: Liệu một mô hình ngôn ngữ có thể chuyển giao bộ nhớ trực tiếp sang một mô hình khác mà không cần bên nhận đọc lại ngữ cảnh? Chúng tôi chứng minh khả năng chuyển giao trạng thái lai (hybrid-state) bền vững hữu ích giữa một cặp mô hình cùng kiến trúc Qwen3.5 4B-sang-9B. Theo hiểu biết của chúng tôi, đây là lần đầu tiên chứng minh được việc chuyển giao trạng thái suy luận hồi quy (recurrent inference state) bền vững giữa các mô hình ngôn ngữ lai có kích thước khác nhau mà không cần phát lại tiền tố mục tiêu (target prefix replay). Chỉ riêng việc chuyển đổi attention KV để lại khoảng cách lớn; việc bổ sung gói trạng thái bền vững Gated DeltaNet (GDN) giúp giảm negative log-likelihood (NLL) có sự hỗ trợ của giáo viên (teacher-forced), tức log-loss trung bình của token tiếp theo, xuống 0,747 nats/token (khoảng tin cậy bootstrap 95% cho tài liệu ghép cặp [0,6921, 0,8047]), cải thiện trên tất cả 64 tài liệu PG19. Việc tái sử dụng trực tiếp các thành phần hồi quy và tích chập (convolution) cho hiệu suất tốt hơn các bản đồ GDN đã học được thử nghiệm, nhất quán với khả năng tương thích chức năng một phần của các tọa độ trạng thái bền vững. Một thành phần nhân tử mới chọn lọc KV đã chuyển đổi cùng với trạng thái hồi quy và tích chập trực tiếp. Một hiệu chỉnh bổ sung với 434.176 tham số cải thiện kết quả cơ sở trên 64 tài liệu web mới: tổn thất tiếp nối (continuation loss) cao hơn 0,076 nats/token so với mô hình 9B gốc (NLL dư thừa), độ phân kỳ Jensen-Shannon (JS) là 0,022 và khả năng khôi phục ngữ cảnh gốc (NCR) là 0,918. Mô hình 9B đã hiệu chỉnh vượt trội đáng kể so với suy luận tiếp nối của 4B trong khi xử lý không token tiền tố lịch sử nào. Bằng chứng bao gồm một hướng, một cặp mô hình cơ sở khớp hình học và 4K tiếp nối có hỗ trợ của giáo viên; cổng gần như gốc (near-native gate) đã thất bại, nhánh 16K chưa được chạy, và sự tương đương trong tạo văn bản tự do cùng giao diện trạng thái tổng quát vẫn chưa được chứng minh.

| Bình luận: | 14 trang, 6 hình, 12 bảng |
| --- | --- |
| Chủ đề: | Tính toán và Ngôn ngữ (cs.CL); Trí tuệ nhân tạo (cs.AI) |
| Trích dẫn là: | arXiv:2609.25053 [cs.CL] |
|  | (hoặc arXiv:2609.25053v1 [cs.CL] cho phiên bản này) |
|  | https://doi.org/10.48550/arXiv.2609.25053 DOI do arXiv cấp thông qua DataCite |

### Lịch sử gửi bài

Từ: Simon Villani [xem email](https://arxiv.org/show-email/eae4295a/2609.25053)] [v1] Thứ Hai, 7 tháng 9 năm 2026 03:57:29 UTC (155 KB)