Nghiên cứu · X：Elvis Saravia (@omarsar0, DAIR.AI)
HOLA: Đột phá mới giúp mô hình chú ý tuyến tính có trí nhớ dài hạn như hồi hải mã
HOLA kết hợp trạng thái đệ quy nén với bộ nhớ đệm KV chính xác, giúp mô hình chú ý tuyến tính cải thiện đáng kể khả năng truy xuất thông tin dài hạn mà không cần mô-đun loại bỏ phức tạp.
HOLA kết hợp trạng thái đệ quy nén với bộ nhớ đệm KV chính xác, giúp mô hình chú ý tuyến tính cải thiện đáng kể khả năng truy xuất thông tin dài hạn mà không cần mô-đun loại bỏ phức tạp.
Giải pháp kỹ thuật sáng tạo giúp giải quyết điểm yếu cố hữu của mô hình chú ý tuyến tính, có kết quả thực nghiệm ấn tượng trên tập dữ liệu lớn.
Nội dung dịch chi tiết
HOLA là một phương pháp mới được thiết kế để nâng cao khả năng truy xuất dài hạn của các mô hình chú ý tuyến tính (linear attention). Bằng cách kết hợp trạng thái đệ quy nén với bộ nhớ chính xác nhỏ, HOLA tạo ra một dạng bộ nhớ bán tham số tại thời điểm kiểm thử (test-time memory).
Cơ chế này giữ lại trạng thái quy tắc delta làm bộ nhớ nén, đồng thời bổ sung bộ đệm KV chính xác có giới hạn. Điểm đặc biệt là bộ đệm này không cần các mô-đun loại bỏ (eviction) dựa trên học máy, mà chỉ lưu giữ các token có phần dư dự đoán thực tế được ghi vào trạng thái.
Trong các thử nghiệm với mô hình 340M tham số trên tập dữ liệu 15B SlimPajama, HOLA đã cải thiện đáng kể độ phức tạp (perplexity) trên Wikitext từ 27,32 xuống còn 22,92, vượt trội hơn so với mức 26,88 của mô hình Transformer++ sử dụng cơ chế chú ý toàn phần.
Ngoài ra, khả năng truy xuất "needle" (tìm kim đáy bể) trong các chuỗi dài của HOLA vẫn duy trì sự ổn định ở độ dài 32k token, gấp 16 lần so với độ dài huấn luyện ban đầu.
Ý chính từ bài gốc
- HOLA kết hợp trạng thái đệ quy nén và bộ nhớ chính xác để tăng cường khả năng truy xuất dài hạn.
- Sử dụng bộ đệm KV có giới hạn, loại bỏ nhu cầu về các mô-đun loại bỏ bộ nhớ phức tạp.
- Cải thiện độ phức tạp trên Wikitext từ 27,32 xuống 22,92, vượt qua Transformer++.
- Duy trì khả năng truy xuất ổn định ở độ dài 32k token, gấp 16 lần độ dài huấn luyện.