Đột phá bộ nhớ cấu trúc: AI chinh phục Slay the Spire 2 nhờ tối ưu hóa dữ liệu

Các nhà nghiên cứu đã chọn trò chơi deck-building roguelike Slay the Spire 2 làm môi trường thử nghiệm. Một lượt chơi đơn lẻ bao gồm hàng trăm quyết định, từ việc chọn thẻ bài và lập kế hoạch chiến đấu cho đến chọn lộ trình trên bản đồ và mua vật phẩm. Các quy tắc của trò chơi được chuyển đổi hoàn toàn thành văn bản, tính ngẫu nhiên cao và các lượt chơi kéo dài. Theo các nhà phát triển, người chơi là con người thắng 16% số lần ở cấp độ khó thấp nhất, A0. Các mô hình tiên phong (frontier models) được sử dụng trong đánh giá AGI-Eval đã không thắng nổi một ván nào trong năm thiết lập được thử nghiệm. Trò chơi này rất khó nhưng đủ cởi mở để những khác biệt về kiến trúc thể hiện rõ ràng.

Năm khe lưu trữ thay thế cho nhật ký tăng dần

Các tác nhân LLM điển hình như ReAct hoặc Reflexion thường thêm các quan sát, lệnh gọi công cụ và tự phản hồi trước đó vào lời nhắc (prompt) tiếp theo. Ngữ cảnh tăng dần theo từng bước cho đến khi cửa sổ ngữ cảnh bị tràn hoặc sự chú ý của mô hình bị loãng. AgenticSTS làm điều ngược lại. Đối với mỗi quyết định, lời nhắc được xây dựng mới từ năm khe lưu trữ được phân tách rõ ràng.

L1 chứa các hướng dẫn giao thức cố định, L2 chứa các lược đồ trạng thái với các hành động hợp lệ hiện tại, L3 chứa các quy tắc trò chơi đã được truy xuất, L4 chứa tóm tắt các lượt chơi trước đó và L5 chứa các kỹ năng chiến lược được kích hoạt cho các tình huống cụ thể. Bất cứ điều gì tác nhân muốn mang theo từ một quyết định trước đó đều phải được ghi vào một trong những khu vực lưu trữ này. Điều này giữ cho lời nhắc luôn ngắn gọn bất kể lượt chơi kéo dài bao lâu và vì mỗi lớp được xử lý riêng biệt, các nhà nghiên cứu có thể xác định chính xác thành phần nào thực sự thúc đẩy sự cải thiện.

Thư viện kỹ năng giúp tăng gấp đôi tỷ lệ thắng

Đối với so sánh chính, nhóm đã chạy năm thiết lập đối đầu với nhau, mỗi thiết lập 10 lượt chơi ở cấp độ khó thấp nhất, A0. Nếu không có các lớp bộ nhớ, tác nhân thắng 3 trên 10 ván. Khi thư viện kỹ năng L5 được bật, lưu trữ các quy tắc chiến thuật cho các tình huống lặp đi lặp lại, tỷ lệ thắng tăng lên 6 trên 10. Kết quả này giữ nguyên bất kể các kỹ năng được viết thủ công hay tạo ra từ các mẫu.

Với chỉ mười lượt chơi cho mỗi điều kiện, chính các tác giả cũng thừa nhận việc tăng gấp đôi tỷ lệ thắng có thể chỉ là nhiễu. Bộ nhớ tình tiết của các lượt chơi trước (L4) không giúp ích gì ở cấp độ A0 và chỉ quan trọng khi tác nhân, trong chế độ thử nghiệm thứ hai, cố gắng đạt cấp độ khó cao hơn sau mỗi chiến thắng. Với bộ nhớ chủ động cập nhật giữa các lượt chơi, tác nhân đạt đến cấp độ A6 đến A8. Nếu không có nó, các lượt chơi chỉ dừng lại ở mức A2 đến A4.

Trong một thí nghiệm riêng biệt, các nhà nghiên cứu đã kiểm tra xem kiến thức được xây dựng bởi một mô hình có chuyển giao sang các mô hình khác hay không. Họ đóng băng một ngăn xếp bộ nhớ mà Gemini 3.1 Pro đã tích lũy trong các ván chơi của riêng nó và chuyển nguyên trạng sang hai mô hình khác. Điểm trung bình của Qwen 3.6-27B tăng 84,5%, trong khi điểm của Deepseek V4-Pro giảm 18,1%. Không mô hình nào thắng được ván nào. Nội dung bộ nhớ dường như gắn liền với mô hình đã tạo ra chúng và không chuyển giao tốt.

Chi phí token phơi bày khoảng cách thực sự

Thú vị hơn cả những tinh chỉnh trong mã nguồn của nhóm là sự so sánh với hai tác nhân Slay the Spire 2 công khai tuân theo mô hình bản ghi tăng dần cổ điển, đó là STS2MCP và CharTyr. Tất cả các tác nhân đều sử dụng Gemini 3.1 Pro cho các quyết định chiến lược. Không đối thủ nào thắng được bất kỳ ván nào trong số 5 lượt chơi của họ.

Các con số về chi phí thậm chí còn ấn tượng hơn: với mỗi điểm mà hai đối thủ ghi được, họ gửi số lượng token tới mô hình ngôn ngữ nhiều gấp 66 đến 90 lần so với AgenticSTS. Lý do là nhật ký tăng dần. Trong STS2MCP, một lệnh gọi mô hình đơn lẻ gần cuối ván chơi đã tiêu tốn khoảng 527.000 token vì toàn bộ lịch sử trò chơi bị gửi lại với mỗi quyết định mới. AgenticSTS giữ văn bản người dùng thực tế ở mức khoảng 5.000 token bất kể trò chơi đã diễn ra bao lâu.

Các tác nhân tích lũy cũng phải chịu hình phạt về thời gian, mất gấp bốn lần thời gian để đạt cùng một cấp độ. Theo số liệu thống kê của nhà cung cấp, 96% thời gian lãng phí đó đến từ độ trễ của mô hình, nghĩa là thời gian chờ đợi phản hồi từ mô hình ngôn ngữ thay vì phần mềm điều khiển xung quanh nó.

Các tác giả thừa nhận đây không phải là một nghiên cứu cắt bỏ (ablation study) hoàn hảo. Họ cho biết STS2MCP và CharTyr cũng khác với AgenticSTS ở cách định tuyến và xử lý quyết định theo lô, vì vậy khoảng cách này phản ánh trạng thái hiện tại của bối cảnh công khai hơn là hiệu ứng cô lập của khái niệm bộ nhớ.

Những gì còn thiếu

Nhóm vẫn chưa thực hiện bài kiểm tra thực sự: chạy một ngữ cảnh tích lũy trong cùng một mã nguồn sử dụng cùng một cách tính điểm. Các chỉ số chính dựa trên 50 lượt chơi, và cho đến nay chỉ có một nhân vật (Silent) được thử nghiệm trên một phiên bản trò chơi duy nhất. Liệu phương pháp này có hiệu quả với các nhân vật và bản cập nhật khác hay không vẫn còn là một câu hỏi mở.

Nhóm đang công bố 298 lượt chơi hoàn chỉnh, các bản chụp bộ nhớ đã đóng băng và các tập lệnh đánh giá trên Hugging Face, để các nhóm nghiên cứu khác có thể thử nghiệm các kiến trúc bộ nhớ thay thế trong cùng một môi trường. Tuyên bố thực tế của bài báo khiêm tốn hơn những con số có thể gợi ý khi đặt cạnh các đối thủ. Bằng cách chia bộ nhớ của tác nhân thành các lớp được đặt tên rõ ràng, bạn có thể tìm ra lớp nào thúc đẩy hành vi nào sau này.

Bộ nhớ hiệu quả cho các tác nhân AI hiện là một lĩnh vực nghiên cứu sôi động. Nhật ký trò chuyện tăng dần theo từng lượt khiến các mô hình chậm hơn, đắt đỏ hơn và kém chính xác hơn. Các nhà nghiên cứu gọi vấn đề này là "context rot" (sự suy giảm ngữ cảnh).

AgenticSTS không đơn độc trong việc giải quyết vấn đề này. Anthropic sử dụng Memory Tool và Context Editing để tự động loại bỏ các kết quả công cụ lỗi thời khỏi ngữ cảnh và lưu trữ thông tin quan trọng trong các tệp bên ngoài. Trong các thử nghiệm của riêng họ, điều này đã cắt giảm 84% lượng sử dụng token cho một tìm kiếm web 100 vòng. Khung GAM của Trung Quốc chia việc lưu trữ và truy xuất giữa hai tác nhân chuyên biệt. Khung mã nguồn mở Mastra cô đọng các cuộc hội thoại thành các ghi chú văn bản ngắn gọn được lưu trữ bên ngoài cửa sổ ngữ cảnh, mô phỏng cách con người xử lý bộ nhớ.