Google Cloud ra mắt Always-On Memory Agent: Loại bỏ RAG và Embedding bằng cơ chế hợp nhất LLM liên tục

Hầu hết các AI agent đều hay quên. Chúng xử lý một yêu cầu, trả lời, rồi xóa bỏ ngữ cảnh. Kho lưu trữ generative-ai của Google Cloud hiện đã cung cấp một mẫu giải quyết trực tiếp vấn đề này. Đó là Always-On Memory Agent, một bản triển khai tham chiếu coi bộ nhớ như một tiến trình đang chạy.

Về cơ bản, dự án này là một background agent nhẹ không bao giờ dừng lại. Nó chạy 24/7 như một tiến trình liên tục, thay vì là một lệnh gọi một lần. Nó được xây dựng bằng Google ADK (Agent Development Kit) và Gemini 3.1 Flash-Lite. Đáng chú ý là nó không sử dụng cơ sở dữ liệu vector hay embedding. Thay vào đó, một LLM sẽ đọc, suy nghĩ và ghi bộ nhớ có cấu trúc vào SQLite. Việc lựa chọn mô hình này nhằm mục tiêu đạt độ trễ thấp và chi phí thấp cho công việc chạy nền liên tục.

Cách thức hoạt động: Tiếp nhận (Ingest), Hợp nhất (Consolidate), Truy vấn (Query)

Về mặt kiến trúc, một trình điều phối (orchestrator) sẽ định tuyến mọi yêu cầu đến một trong ba sub-agent chuyên biệt. Mỗi sub-agent sở hữu các công cụ riêng để đọc hoặc ghi vào kho lưu trữ bộ nhớ.

Đầu tiên, IngestAgent xử lý nội dung đầu vào. Nó sử dụng khả năng đa phương thức của Gemini để trích xuất tóm tắt, các thực thể, chủ đề và điểm số mức độ quan trọng. Bản ghi có cấu trúc đó sau đó sẽ được lưu vào bảng bộ nhớ.

Tiếp theo, ConsolidateAgent chạy theo bộ hẹn giờ, mặc định là 30 phút một lần. Giống như các chu kỳ ngủ, nó xem xét các bộ nhớ chưa được hợp nhất và tìm ra mối liên hệ giữa chúng. Sau đó, nó ghi lại một bản tóm tắt tổng hợp, một thông tin chi tiết chính và các mối liên hệ đó vào cơ sở dữ liệu. Kết quả là, agent tự xây dựng sự hiểu biết mới ngay cả khi đang rảnh rỗi mà không cần prompt.

Cuối cùng, QueryAgent trả lời các câu hỏi. Nó đọc tất cả các bộ nhớ và thông tin chi tiết đã hợp nhất, sau đó tổng hợp thành câu trả lời. Quan trọng là nó trích dẫn các ID bộ nhớ đã sử dụng làm nguồn.

Các đầu vào được hỗ trợ

Ngoài văn bản, IngestAgent chấp nhận 27 loại tệp thuộc năm danh mục. Chỉ cần thả bất kỳ tệp nào được hỗ trợ vào thư mục./inbox để hệ thống tự động nhận diện.

So sánh với RAG, Tóm tắt và Đồ thị tri thức (Knowledge Graphs)

Để làm rõ sự khác biệt, bài viết đưa ra ba phương pháp tiếp cận bộ nhớ phổ biến. Mỗi phương pháp giải quyết một phần của vấn đề nhưng vẫn để lại những khoảng trống.

Không giống như RAG, agent này xử lý bộ nhớ một cách chủ động chứ không chỉ khi có yêu cầu truy xuất.

Các trường hợp sử dụng kèm ví dụ

Trên thực tế, mô hình này phù hợp với bất kỳ khối lượng công việc nào cần ngữ cảnh bền vững và không ngừng phát triển. Hãy xem xét ba ví dụ sau.

Bắt đầu

Với thiết kế rõ ràng, việc thiết lập rất tối giản đối với các kỹ sư mới bắt đầu. Chỉ cần cài đặt các phụ thuộc, thiết lập key của bạn, sau đó khởi chạy tiến trình.

Khi đã chạy, agent sẽ theo dõi thư mục./inbox, hợp nhất dữ liệu mỗi 30 phút và cung cấp một HTTP API trên cổng 8888. Do đó, bạn cũng có thể nạp dữ liệu cho nó thông qua HTTP.

Ngoài ra, API còn cung cấp các endpoint /status, /memories, /consolidate, /delete và /clear. Một bảng điều khiển Streamlit tùy chọn sẽ bổ sung các tính năng kiểm soát việc tiếp nhận, truy vấn, duyệt và xóa dữ liệu. Các cờ CLI giúp thay đổi thư mục theo dõi, cổng và khoảng thời gian hợp nhất.

Những điểm chính cần lưu ý

Xem MÃ NGUỒN ĐẦY ĐỦ tại đây. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML với hơn 150 nghìn thành viên của chúng tôi cũng như Đăng ký Bản tin (Newsletter). Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, bản phát hành sản phẩm hoặc hội thảo trực tuyến (webinar), v.v.? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có giá trị thực tiễn.