Kiến trúc bộ nhớ làm việc 'Tiền kiểm' cho AI Agent: Tự tối ưu hóa và tiến hóa

Tóm tắt: Một kiến trúc bộ nhớ làm việc cho các AI agent: preflight (tiền kiểm) truy xuất kỹ năng phù hợp từ thư viện dài hạn, một mô hình cục bộ thực thi, và một watchdog (cơ chế giám sát) đọc lại dấu vết vào ban đêm để cập nhật thư viện.

Tôi vẫn còn nhớ khi agent của mình quên mất những gì tôi vừa nói ngay giữa câu.

Kích thước ngữ cảnh (context size) không phải là giới hạn cao nhất. Kiến trúc bộ nhớ mới là giới hạn đó.

Tôi đã thử nghiệm với một kiến trúc bộ nhớ chạy các chỉ dẫn preflight. Một phi công lập kế hoạch lộ trình trước khi cất cánh. Agent của tôi cũng làm điều tương tự.

Một truy vấn được gửi đến: “Tóm tắt tài liệu họp hội đồng quản trị quý 3.” 200.000 token thô bao gồm email, PDF và các đoạn chat nằm phía sau câu lệnh đó.

Preflight chính là quá trình truy xuất. Agent kiểm tra thư viện kỹ năng (skills library)1 của nó, chọn ra những kỹ năng liên quan đến tác vụ và chỉ tải những kỹ năng đó vào cửa sổ ngữ cảnh. Các kỹ năng là bộ nhớ đã được hợp nhất; bước preflight là cách agent chọn đúng kỹ năng cần thiết.

Sau đó, mô hình cục bộ Ornith 35B2 sẽ thực thi trên ngữ cảnh đã được tải đó. Các tác vụ khó sẽ được chuyển hướng ra các mô hình frontier (tiên tiến); các tác vụ thường nhật vẫn nằm lại ở mô hình cục bộ, chiếm khoảng 80% thời gian.

Watchdog giám sát những kỹ năng nào được tải, những quyết định nào được đưa ra và tỷ lệ thành công. Mọi quyết định preflight đều được ghi lại. Mọi lần gọi kỹ năng đều là một artifact (tạo tác) có tên và phiên bản cụ thể.

Vào ban đêm, quá trình suy luận bất đồng bộ (asynchronous inference)3 sẽ xử lý dấu vết của cả ngày. Nó quyết định những kỹ năng mới nào cần được phát triển và những phần nào của kỹ năng hiện có nên trở thành mã nguồn xác định (deterministic code). Lên lịch trên lịch là một ví dụ điển hình: một LLM không nên so sánh các khoảng thời gian rảnh và bận; Rust làm việc đó tốt hơn nhiều. Hệ thống tự viết lại thư viện kỹ năng của mình và tự khởi động lại trong một vòng lặp tự cải thiện.

Hôm qua là ngày đầu tiên watchdog không đề xuất bất kỳ cải tiến nào. Tôi nghi ngờ điều đó sẽ không kéo dài. Nhưng nó gợi mở một điều: ở một mức độ cải thiện nhất định, hệ thống sẽ đạt đến trạng thái ổn định (plateau). Chỉ những ngoại lệ thực sự mới cần sự trợ giúp của con người.

Thư viện kỹ năng là một tập hợp các tệp quy trình làm việc (hiện tại khoảng 90 tệp) được lập chỉ mục trên đĩa và truy xuất bằng cách khớp ý định (intent match). Các kỹ năng là những quy trình làm việc được viết một lần, được đánh phiên bản và chuyển cho mô hình dưới dạng các lược đồ công cụ (tool schemas). Xem Skill Distillation để biết cách thư viện được xây dựng. ↩︎

Ornith 35B là một mô hình mã nguồn mở có trọng số, được lưu trữ cục bộ thuộc lớp 35 tỷ tham số, chạy trên Apple Silicon thông qua Ollama. Nó xử lý các công việc thường nhật của agent — phân loại, soạn thảo, chọn công cụ, trích xuất có cấu trúc — và chuyển phần còn lại khó hơn cho các mô hình frontier. ↩︎

Xem Full Sail on Asynchronous Inference để biết về kiến trúc hàng đợi giúp các tác vụ agent chạy hàng giờ vào ban đêm trở nên khả thi. ↩︎

Nhận bài viết tiếp theo trong hộp thư đến của bạn.

Bài đọc 1 phút giúp biến dữ liệu công nghệ thành lợi thế chiến lược. Được đọc bởi hơn 150.000 nhà sáng lập và điều hành.

Tổng giám đốc (GP) tại Theory Ventures. Cựu Giám đốc sản phẩm (PM) tại Google. Chia sẻ những thông tin chuyên sâu dựa trên dữ liệu về AI, web3 và đầu tư mạo hiểm.

Bloomberg • WSJ • Economist