Shepherd: Nền tảng Python mã nguồn mở cho phép phân nhánh, phát lại và hoàn tác các tác vụ AI Agent

Các tác nhân (agent) hoạt động lâu dài tích lũy trạng thái mà không bản ghi (transcript) nào nắm bắt được. Một tác nhân lập trình ở bước 10 đang nắm giữ các tệp đã chỉnh sửa, một máy chủ phát triển đang chạy, các gói đã cài đặt và một bộ nhớ đệm prompt (prompt cache) đang hoạt động. Khi nó đọc sai một traceback và ghi đè lên một tệp vốn đã đúng, thì không có lộ trình khôi phục nào là rẻ: vá lỗi tiếp diễn sẽ làm tăng ngữ cảnh và chi phí token, còn khởi động lại từ bước một sẽ phải trả phí cho mọi lệnh gọi mô hình và công cụ mà không đảm bảo kết quả giống hệt, vì các lần chạy có tính chất không xác định (non-deterministic). Quay lại bước tám mới là tùy chọn mà các kỹ sư thực sự mong muốn, và đó là điều mà các runtime hiện tại không thể cung cấp. Git chỉ quản lý phiên bản tệp, chứ không phải một tiến trình đang chạy hay bộ nhớ đệm. Các nhà nghiên cứu tại Đại học Northeastern và Đại học Stanford đã phát hành Shepherd, một nền tảng runtime Python ghi lại quá trình chạy của tác nhân dưới dạng một chuỗi sự kiện có kiểu (typed events) giống như Git, nhờ đó mọi trạng thái trong quá khứ đều có thể được fork và phát lại (replay). Nhóm nghiên cứu báo cáo rằng khả năng fork nhanh gấp 5 lần so với Docker và đạt hơn 95% tỷ lệ tái sử dụng prompt-cache khi phát lại.

Liệu nó có thể triển khai được không?

Có, nhưng nó đang ở giai đoạn alpha sớm và chưa sẵn sàng cho môi trường production. Shepherd được cấp phép theo MIT và có thể cài đặt bằng lệnh pip install shepherd-ai từ PyPI. Nó yêu cầu Python 3.11+. Việc thực thi cấp quyền ở cấp độ hệ điều hành chạy trên macOS (Seatbelt) và Linux (Landlock, trong một container có đặc quyền).

Những thay đổi mà Shepherd mang lại

Shepherd là một nền tảng Python ghi lại quá trình thực thi của tác nhân như một đối tượng hạng nhất (first-class object). Mọi tương tác giữa tác nhân và môi trường đều trở thành một sự kiện có kiểu trong chuỗi thực thi giống như Git. Các thao tác cốt lõi được chính thức hóa dưới dạng các hàm và được cơ giới hóa trong Lean.

Mỗi tương tác thực chất là một commit. Không giống như Git, commit này bao gồm cả tiến trình của tác nhân và hệ thống tệp cùng nhau, theo cơ chế copy-on-write. Do đó, một nhánh (branch) mang theo trạng thái trực tiếp, không chỉ là các tệp. Việc quay lại một điểm trước đó chỉ là một thao tác fork đơn giản từ commit đó.

Nhóm nghiên cứu báo cáo rằng Shepherd fork tiến trình tác nhân và hệ thống tệp của nó nhanh gấp 5 lần so với Docker. Vì tiền tố prompt (prompt prefix) cho đến điểm phân nhánh không thay đổi, việc phát lại đạt được hơn 95% tỷ lệ tái sử dụng prompt-cache.

Tài liệu tổ chức framework này xoay quanh bốn khái niệm: tasks (tác vụ), effects (hiệu ứng), runs (lần chạy) và workspaces (không gian làm việc). Một task là một hàm có kiểu mà mô hình sẽ điền vào phần thân, vì vậy chữ ký (signature) chính là hợp đồng. Một effect là mọi sự giao thoa qua ranh giới task, và nó có thể được theo dõi, phản hồi hoặc từ chối. Một run là bản ghi bền vững của những sự giao thoa đó.

Các quyền được khai báo trong chữ ký. Một ràng buộc May[GitRepo, ReadOnly] được biên dịch thành các gốc có thể ghi của run đó và được thực thi tại jail syscall gốc.

Việc fork cho phép các tác nhân bậc cao quan sát chuỗi sự kiện và can thiệp trước khi một thao tác ghi lỗi được commit. Nhóm nghiên cứu đã trình diễn ba ứng dụng:

Những điểm chính cần lưu ý

Hãy xem qua Paper, GitHub, kho lưu trữ Experiments, trang Dự án và PyPI. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ ML của chúng tôi cũng như Đăng ký Bản tin của chúng tôi. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, Hugging Face Page, Product Release hoặc Webinar, v.v.? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học về Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có thể hành động được.