Bộ nhớ cho AI Agent: Không phải cứ nhiều là tốt, cần hiệu chỉnh theo năng lực mô hình

Quay lại các bài viết

Trong bài viết trước, chúng tôi đã so sánh ALTK-Evolve với ACE và chỉ ra rằng cách bạn cung cấp các hướng dẫn tự chắt lọc (self-distilled guidelines) của một tác nhân — truy xuất một vài hướng dẫn mỗi tác vụ so với việc đưa vào toàn bộ tập hợp — ảnh hưởng đến cả độ chính xác lẫn chi phí. Bài viết này sẽ lùi lại một bước để giải quyết câu hỏi tiền đề: bạn nên cung cấp cho nó bao nhiêu là đủ?

Trang bị bộ nhớ tác nhân (agentic memory) nghe có vẻ đơn giản: chắt lọc các bài học từ công việc trong quá khứ, đưa chúng trở lại ngữ cảnh, và càng nhiều kinh nghiệm thì hiệu suất càng cao. Tuy nhiên, thực tế không phải lúc nào cũng như vậy. Khi chúng tôi mở rộng đánh giá lên tám mô hình — từ mô hình dày đặc 30B đến các hệ thống độc quyền tiên tiến — một phát hiện nổi bật đã xuất hiện:

Bộ nhớ tác nhân không phải là một tính năng bạn chỉ cần bật lên. Đó là một liều lượng mà bạn cần hiệu chỉnh cho phù hợp với mô hình.

Tóm tắt (TL;DR)

ALTK-Evolve cho phép một tác nhân học hỏi từ chính các quỹ đạo (trajectories) trong quá khứ của nó: chắt lọc các hướng dẫn có thể tái sử dụng và đưa chúng trở lại tại thời điểm suy luận (inference time), mà không cần cập nhật trọng số và không cần sự chú thích của con người.

Liều lượng phù hợp khác nhau tùy theo cấp độ mô hình: các mô hình mạnh với dư địa phát triển muốn có toàn bộ tập hợp hướng dẫn, các mô hình yếu hơn đạt hiệu quả tốt nhất với một lõi nhỏ gọn cộng với việc truy xuất theo từng tác vụ, và các mô hình đã bão hòa không cho thấy mức tăng đáng kể nào.

Truy xuất có chọn lọc (curated retrieval) có thể vừa là lựa chọn chính xác nhất vừa là lựa chọn rẻ nhất: gpt-oss-120b đạt mức tăng +16.1pp trong việc hoàn thành tác vụ chỉ với +5% token — và tính năng prompt caching giúp ngay cả tập hợp hướng dẫn đầy đủ cũng trở nên hợp lý về chi phí trong môi trường sản xuất.

Thông tin chi tiết chính: Liều lượng phụ thuộc vào năng lực

Không phải mô hình nào cũng hưởng lợi từ cùng một lượng bộ nhớ. Trên tám mô hình trải dài theo phổ năng lực, chúng tôi đã thấy ba mô hình lặp đi lặp lại:

Các mô hình mạnh với dư địa phát triển muốn có toàn bộ tập hợp hướng dẫn — mọi hướng dẫn, bao gồm cả các bài học về những trường hợp hiếm gặp (edge-case). Chúng có khả năng tiếp nhận và áp dụng tất cả những điều đó. DeepSeek-V3.2 (671B MoE) đã tăng +9.5 điểm phần trăm trong việc hoàn thành tác vụ khi được cung cấp toàn bộ tập hợp hướng dẫn tự chắt lọc.

Các mô hình nhỏ hơn hoặc yếu hơn bị "ngợp" bởi một tập hợp hướng dẫn lớn. Đối với những mô hình này, một lõi nhỏ gọn, có độ tin cậy cao cộng với một vài hướng dẫn liên quan được truy xuất theo từng tác vụ là hiệu quả nhất. gpt-oss-120b (117B MoE) đã tăng +16.1pp với phương pháp chọn lọc này — trong khi tập hợp hướng dẫn đầy đủ mang lại kết quả thấp hơn và tốn thêm khoảng 50% token.

Các mô hình đã bão hòa không cho thấy mức tăng đáng kể. Chúng tôi gọi đây là mô hình bão hòa (saturated pattern) — nhãn này mô tả những gì chúng tôi quan sát được, không phải là nguyên nhân đã được chứng minh. Mô hình có thể đã đạt gần ngưỡng giới hạn của nó đối với các tác vụ này, các hướng dẫn có thể không giải quyết được những lỗi còn lại của nó, hoặc nó có thể đã không áp dụng hướng dẫn một cách hiệu quả. GLM-5 (745B MoE) nằm ở nhóm này trong các thử nghiệm của chúng tôi.

Điều khiến một mô hình rơi vào mô hình này thay vì mô hình khác không đơn thuần là số lượng tham số. Dư địa điểm chuẩn (benchmark headroom), kích thước cửa sổ ngữ cảnh, kiến trúc, chất lượng hướng dẫn và phân phối tác vụ đều dường như định hình vị trí của mô hình, và việc tách biệt các yếu tố đó vẫn đang là công việc tiếp diễn. Kết luận thực tế vẫn giữ nguyên: liều lượng bộ nhớ phù hợp phụ thuộc vào mô hình, và chúng ta có thể hiệu chỉnh nó.

Việc học diễn ra xung quanh mô hình, không phải bên trong nó

"Bộ nhớ" ở đây không có nghĩa là phát lại một bản ghi chép trong quá khứ. Nó có nghĩa là một tập hợp hướng dẫn — các chiến lược hiệu quả, những sai lầm cần tránh và các trường hợp hiếm gặp — được chắt lọc từ chính các quỹ đạo trước đó của tác nhân. Vòng lặp rất đơn giản:

Tác nhân thực hiện các tác vụ và tạo ra các quỹ đạo.

ALTK-Evolve trích xuất các hướng dẫn hành vi từ cả những lần chạy thành công và không thành công của nó.

Nó hợp nhất các hướng dẫn đó thành một tập hợp có thể tái sử dụng.

Tại thời điểm suy luận, tác nhân nhận được toàn bộ tập hợp hướng dẫn hoặc một lựa chọn liên quan đến tác vụ đó.

Không có trọng số mô hình nào được cập nhật. Vòng lặp học tập thay đổi hướng dẫn khả dụng cho tác nhân, chứ không phải mô hình cơ sở — đó chính xác là lý do tại sao nó rẻ để áp dụng và có tính di động trên tám mô hình mà chúng tôi đã thử nghiệm.

Kết quả trên toàn phổ

Chúng tôi đã đánh giá trên AppWorld — 585 tác vụ đa bước (168 test_normal + 417 test_challenge) trên 9 ứng dụng mô phỏng (lịch, nhắn tin, thanh toán, v.v.). Các tác vụ được chấm điểm theo hai cách: liệu tác nhân có hoàn thành đầy đủ từng tác vụ hay không (TGC — Task Goal Completion) và liệu mọi biến thể của một kịch bản có vượt qua hay không (SGC — Scenario Goal Completion, một tiêu chuẩn khắt khe hơn, được ăn cả ngã về không). Định nghĩa đầy đủ nằm trong phần phụ lục.

Ba cấu hình mà chúng tôi so sánh

Vì phần gây nhầm lẫn của bất kỳ nghiên cứu bộ nhớ nào là những gì thực sự nằm trong cửa sổ ngữ cảnh, chúng tôi xác định các cấu hình ngay từ đầu.

Cả hai cấu hình bộ nhớ đều lấy từ cùng một tập hợp hướng dẫn, được khai thác một lần (thông qua vòng lặp ở trên) chỉ từ tập huấn luyện (training split) của AppWorld. Điều thay đổi giữa chúng chỉ là cách tập hợp đó được cung cấp — tập hợp hướng dẫn đầy đủ đưa vào tất cả mọi thứ trong mỗi bước, trong khi truy xuất có chọn lọc cung cấp một tập hợp con được chọn — chứ không bao giờ là cách các hướng dẫn được tạo ra, và không có dữ liệu test-split nào được đưa vào để xây dựng nó.

Số lượng hướng dẫn mà một mô hình khai thác phụ thuộc vào năng lực của chính nó, vì vậy chúng tôi báo cáo các cấu hình theo chiến lược — "tập hợp hướng dẫn đầy đủ" so với "truy xuất có chọn lọc" — thay vì theo số lượng thô, vốn không thể so sánh giữa các mô hình.

Ba mô hình, trong một cái nhìn

Các mô hình đại diện từ tám mô hình trong cuộc khảo sát, được đo lường bằng khả năng hoàn thành tác vụ (TGC) trên test_normal:

Hình 1. Các mô hình đại diện trong ba mô hình quan sát được. Các thanh hiển thị TGC trên AppWorld test_normal cho baseline so với cấu hình bộ nhớ tốt nhất; trục x bắt đầu ở mức 40% để làm cho sự khác biệt trở nên rõ ràng. Chỉ riêng TGC đã làm giảm nhẹ các mức tăng SGC lớn hơn — xem các cột SGC trong bảng dưới đây.

Hình vẽ biểu thị TGC để giữ cho nó dễ đọc; bảng bổ sung thêm chỉ số SGC khắt khe hơn, nơi các mức tăng thường lớn hơn:

Đọc cột SGC, chỉ số khắt khe hơn thường thay đổi nhiều hơn TGC — SGC của DeepSeek tăng +16.1pp so với mức tăng +9.5pp của TGC — bởi vì các hướng dẫn tốt đặc biệt giúp tác nhân vượt qua mọi biến thể của một kịch bản, không chỉ là trường hợp trung bình. Và hiệu ứng này không biến mất ở mức cao nhất của phạm vi: GPT-5.5 và Opus, cả hai đều gần ngưỡng giới hạn về TGC, vẫn đạt mức tăng lần lượt là +7.2 và +7.1pp SGC. Bộ nhớ vẫn tiếp tục mang lại hiệu quả miễn là mô hình còn một chế độ lỗi cần khắc phục.

Chiến lược bộ nhớ rẻ nhất cũng có thể là tốt nhất

Một mối quan tâm thực tế: việc đưa vào toàn bộ tập hợp hướng dẫn sẽ làm tăng đầu vào của mỗi bước ReAct, vì các hướng dẫn được gửi lại mỗi lượt. Đây là những gì chúng tôi quan sát được:

Bảng 1. Mức sử dụng token trung bình trên mỗi tác vụ, được tích lũy qua các bước của tác nhân, so với baseline không có bộ nhớ.

Hai kết luận chính:

Truy xuất có chọn lọc giữ chi phí gần với baseline. Đối với các mô hình yếu hơn, nơi việc lựa chọn chiến thắng về độ chính xác, nó cũng chiến thắng về chi phí — đạt được cả hai lợi ích (+16.1pp TGC chỉ với +5% token cho gpt-oss-120b). Hiệu suất tốt hơn ở đây không đòi hỏi chi phí suy luận cao hơn.

Bộ nhớ không làm bùng nổ vòng lặp suy luận. DeepSeek chạy số bước ReAct tương đương với bộ nhớ và không có bộ nhớ (≈18–19 bước trung bình), vì vậy chi phí tăng thêm là do lạm phát token đầu vào, không phải do các quỹ đạo dài hơn.