Meta AI dùng 'AI huấn luyện viên' để giúp tác vụ dài không bị chệch hướng

Các tác giả gọi đây là "suy giảm trạng thái hành vi" (behavioral state decay). Trạng thái định hướng các quyết định của tác nhân (agent) bị phân tán theo lịch sử tác vụ ngày càng dài. Nó có thể bị chôn vùi sâu trong cửa sổ ngữ cảnh (context window) hoặc hoàn toàn biến mất khỏi đó. Ngay cả khi thông tin vẫn còn trong bản ghi hoặc cửa sổ ngữ cảnh, nó có thể không còn định hình hành vi của tác nhân một cách đáng tin cậy nữa. Meta AI cho biết việc chỉ đơn thuần cung cấp cho các tác nhân quyền truy cập vào lịch sử dài hơn không giải quyết được vấn đề này.

Quyết định thời điểm bộ nhớ trở nên quan trọng

Các hệ thống bộ nhớ hiện tại tập trung vào việc lưu trữ, cập nhật và truy xuất thông tin. Theo bài báo, điều đó hoạt động tốt cho việc cá nhân hóa và gợi nhớ qua các phiên làm việc. Nhưng các tác nhân khi thực hiện tác vụ lại đối mặt với một vấn đề khác. Hệ thống phải quyết định khi nào một ký ức đủ hữu ích để gợi lại. Quá ít lời nhắc dẫn đến những sai lầm lặp đi lặp lại, trong khi quá nhiều lời nhắc lại gây ra độ trễ, tiêu tốn token và làm tác nhân xao nhãng khỏi công việc hiện tại.

Điều này vượt xa việc tóm tắt: một công cụ tóm tắt chỉ quyết định thông tin nào cần giữ lại, trong khi hệ thống của Meta quyết định liệu một trạng thái thực thi đã lưu trữ có nên ảnh hưởng đến bước đi tiếp theo của tác nhân hay không. Vì các kiểu lỗi (failure modes) khác nhau rất nhiều tùy theo tác vụ, một quy tắc tóm tắt cố định không thể đưa ra quyết định đó một cách đáng tin cậy.

Tác nhân thứ hai quyết định khi nào cần lên tiếng

Hệ thống được đề xuất kết hợp một "tác nhân hành động" (action agent) không sửa đổi với một "tác nhân bộ nhớ" (memory agent) riêng biệt. Theo các khoảng thời gian cố định, tác nhân bộ nhớ sẽ xem xét một cửa sổ trượt gồm các bước gần đây nhất và cập nhật một ngân hàng bộ nhớ có cấu trúc. Sau đó, nó quyết định xem có nên thêm một lời nhắc ngắn gọn vào lệnh gọi tiếp theo của tác nhân hành động hay giữ im lặng.

Các tác giả cho biết mô-đun này có thể hoạt động với các tác nhân hiện có và khai thác như một thành phần cắm-và-chạy (plug-and-play). Không giống như một mô hình cố vấn chung, nó chỉ cung cấp các lời nhắc dựa trên bộ nhớ và không đưa ra các tư vấn chiến lược rộng hơn.

Ngân hàng bộ nhớ có ba phần. Trường trạng thái riêng tư theo dõi tiến độ và các rủi ro tồn đọng, không bao giờ hiển thị cho Tác nhân hành động. Bộ nhớ kiến thức lưu trữ các dữ kiện ổn định như yêu cầu, đường dẫn tệp và cấu hình. Bộ nhớ thủ tục ghi lại những gì tác nhân đã thử và kết quả, bao gồm các lệnh thất bại, các bản sửa lỗi thành công và các giả thuyết bị bác bỏ.

Trong mỗi bước bộ nhớ, tác nhân chỉ có thể cập nhật ngân hàng thông qua các lệnh gọi công cụ được xác định trước thay vì tự do ghi đè nội dung của nó. Sau đó, nó quyết định xem có nên kích hoạt lại một trạng thái đã lưu trữ hay không và nếu cần, sẽ viết một lời nhắc có mục tiêu. Việc chọn không can thiệp cũng là một phần của chính sách.

Các lời nhắc có chọn lọc giúp cải thiện điểm số trên hai tiêu chuẩn đánh giá

Các nhà nghiên cứu đã thử nghiệm hệ thống trên Terminal-Bench 2.0, công cụ đánh giá các tác nhân tự hành trong môi trường dòng lệnh thực tế. Họ cũng sử dụng tau2-Bench, công cụ kiểm tra việc sử dụng công cụ hội thoại trong các lĩnh vực hàng không, bán lẻ và viễn thông. Claude Opus 4.6 đóng vai trò là tác nhân bộ nhớ, mặc dù mô hình này đã nhận được một số bản cập nhật kể từ đó.

Với Claude Sonnet 4.5 cũ hơn đóng vai trò là tác nhân hành động, hệ thống đã giải quyết được 46% các tác vụ của Terminal-Bench trong lần thử đầu tiên. Hệ thống cơ sở (baseline) giải quyết được 38%. Trên tau2-Bench, mức trung bình có trọng số theo tác vụ đã tăng từ 55% lên 62%.

Kết quả khác nhau tùy theo lĩnh vực. Điểm số cho các tác vụ hàng không và bán lẻ đều tăng khoảng 10 điểm phần trăm, trong khi viễn thông chỉ cải thiện 3 điểm. Các nhà nghiên cứu cho biết mức tăng không đồng đều cho thấy tác nhân bộ nhớ can thiệp ở các tỷ lệ khác nhau tùy thuộc vào tác vụ thay vì áp dụng một quy tắc tổng hợp cố định.

Mức tăng lớn hơn đối với tác nhân yếu hơn nhưng không biến mất với tác nhân mạnh hơn. Opus 4.6 cải thiện 2,4 điểm phần trăm trên Terminal-Bench và 2,5 điểm trên tau2-Bench. Kết quả cho thấy hệ thống bộ nhớ làm được nhiều việc hơn là chỉ bù đắp cho năng lực hạn chế của một mô hình yếu hơn.

Can thiệp có chọn lọc hiệu quả hơn gợi nhớ liên tục

Nhóm nghiên cứu đã loại bỏ từng khả năng một để xác định phần nào của hệ thống thúc đẩy mức tăng trưởng. Khi tác nhân hành động nhận được toàn bộ ngân hàng bộ nhớ ở mỗi bước, hiệu suất giảm xuống dưới mức của hệ thống đầy đủ. Một phiên bản không có tùy chọn "im lặng", tức là trả về bộ nhớ ở mỗi bước, vẫn duy trì tính cạnh tranh nhưng mang lại mức tăng ít nhất quán hơn giữa các lĩnh vực.

Một phiên bản kiểu cố vấn không có ngân hàng bộ nhớ bền vững đã giúp ích trong một số lĩnh vực nhưng lại làm giảm hiệu suất ở những lĩnh vực khác. Thiết kế đầy đủ, kết hợp ngân hàng bộ nhớ được duy trì với các lời nhắc có chọn lọc, mang lại hiệu suất tốt nhất.

Phương pháp này cũng vượt trội hơn Mem0, một lớp bộ nhớ sản xuất truy xuất các bản ghi thông qua tìm kiếm. Sự khác biệt không chỉ nằm ở việc hệ thống truy xuất bản ghi nào. Tác nhân bộ nhớ còn quyết định xem liệu một trạng thái đã lưu trữ có nên tham gia vào vòng lặp dưới dạng lời nhắc có mục tiêu hay không và bằng cách nào.

Một ví dụ từ lĩnh vực "Hàng không" của tau2-Bench cho thấy cách thức hoạt động của nó. Một người dùng tuyên bố có trạng thái Gold, nhưng công cụ xác định anh ta là khách hàng thông thường. Hệ thống cơ sở đã cấp tiền bồi thường dựa trên tuyên bố của người dùng. Thay vào đó, tác nhân bộ nhớ đã đưa ra lời nhắc dựa vào dữ liệu công cụ đã được xác minh.

Hầu hết các lỗi còn lại liên quan đến hiệu chuẩn (calibration) hơn là bộ nhớ. Ví dụ, trong một số trường hợp, tác nhân bộ nhớ đã xử lý một suy luận suy đoán với sự tự tin quá mức.

Các mô hình mở nhỏ hơn cần được đào tạo để quản lý bộ nhớ tốt

Phiên bản chính không yêu cầu một mô hình được đào tạo đặc biệt mà thay vào đó chạy như một tác nhân được nhắc (prompted agent). Nhóm cũng đã thử nghiệm xem liệu họ có thể dạy chính sách can thiệp cho một mô hình mở hay không. Họ đã đào tạo Qwen3.5-27B nhỏ hơn làm tác nhân bộ nhớ trong khi giữ nguyên một mô hình hành động lớn hơn nhiều.

Nếu không được đào tạo, tác nhân bộ nhớ nhỏ hơn làm giảm hiệu suất. Việc tinh chỉnh có giám sát (supervised fine-tuning) đã khôi phục sự sụt giảm đó, và học tăng cường (reinforcement learning) sau đó đã cải thiện các quyết định của nó về thời điểm gợi lại một trạng thái đã lưu trữ.

Meta AI liệt kê một số câu hỏi mở, bao gồm việc đào tạo đồng thời tác nhân bộ nhớ và tác nhân hành động, dạy hệ thống gọi bộ nhớ khi cần thay vì tuân theo lịch trình cố định, và xác định khi nào các ký ức theo nghĩa đen hoạt động tốt hơn các khái niệm trừu tượng cụ thể theo tác vụ.

Meta AI đã công bố mã nguồn của dự án trên GitHub.

Meta không phải là đơn vị duy nhất gặp phải vấn đề này và ngành công nghiệp vẫn chưa có phương pháp tiêu chuẩn. Khung mã nguồn mở Mastra sử dụng hai tác nhân nền giám sát và nén cuộc hội thoại thay vì giữ toàn bộ lịch sử trong cửa sổ ngữ cảnh. Hệ thống GAM nhằm mục đích ngăn chặn "sự thối rữa ngữ cảnh" (context rot) trong các cuộc trò chuyện dài và, giống như phương pháp của Meta, so sánh kết quả của nó với lớp bộ nhớ Mem0. Các nhà nghiên cứu khác đang thiết kế các hệ thống bộ nhớ AI suốt đời có thể chủ động thêm, sửa đổi và quên kiến thức.