Đội ngũ Kimi mã nguồn mở AgentENV: Nền tảng huấn luyện AI Agent quy mô lớn

Đội ngũ Kimi của Moonshot AI và kvcache-ai đã mã nguồn mở AgentENV (AENV), một nền tảng phân tán dùng để vận hành các môi trường tác nhân (agent) ở quy mô lớn. AgentENV cung cấp sức mạnh cho quá trình huấn luyện học tăng cường (RL) cho tác nhân của Kimi K3, mô hình Mixture-of-Experts với 2,8 nghìn tỷ tham số của Moonshot. Mã nguồn được phát hành theo giấy phép MIT.

Tại sao hạ tầng môi trường lại kìm hãm Agentic RL

Agentic RL không chỉ đơn thuần là lấy mẫu văn bản. Nó đòi hỏi mô hình phải thực hiện hành động bên trong một máy tính thực thụ. Mỗi lần triển khai (rollout) đều cần một môi trường Linux biệt lập với hệ thống tệp, ngăn xếp mạng và các tiến trình đang chạy.

Yêu cầu đó tạo ra một sự đánh đổi khó khăn. Các container khởi động nhanh nhưng dùng chung nhân (kernel) của máy chủ, điều này làm suy yếu tính biệt lập đối với mã do mô hình tạo ra. Các máy ảo (VM) đầy đủ thì biệt lập tốt nhưng khởi động chậm và chiếm dụng bộ nhớ ngay cả khi ở trạng thái nhàn rỗi.

AgentENV nhắm thẳng vào khoảng trống đó. Nó vận hành các microVM Firecracker, sau đó tối ưu hóa trạng thái nhàn rỗi, khởi động lại và phân nhánh (branching) đủ rẻ để chạy ở quy mô huấn luyện.

Bên trong kiến trúc Firecracker của AgentENV

Mỗi sandbox là một microVM Firecracker với nhân Linux, hệ thống tệp và không gian tên mạng riêng. Các yêu cầu được gửi đến Axum HTTP API, sau đó chuyển tiếp đến một bộ điều phối (orchestrator) quản lý vòng đời của sandbox.

Lưu trữ là nơi thiết kế trở nên thú vị. Rootfs được phục vụ thông qua thiết bị khối userspace ublk, được hỗ trợ bởi các hình ảnh phân lớp overlaybd. Các lớp cơ sở chỉ đọc (read-only) được chia sẻ giữa các sandbox, và mỗi sandbox sẽ ghi vào lớp trên (upper layer) riêng của nó.

Bên trong mỗi khách (guest), một daemon có tên là envd xử lý việc thực thi lệnh, thao tác tệp và báo cáo trạng thái trên cổng 49983. Một reverse proxy định tuyến lưu lượng HTTP và WebSocket từ máy khách đến các dịch vụ đang chạy bên trong VM.

Dự án cũng liệt kê hai cơ chế mật độ. Bộ nhớ đệm trang (page cache) của máy chủ được chia sẻ giữa dữ liệu lưu trữ và dữ liệu snapshot bộ nhớ. Memory ballooning trả lại bộ nhớ khách có thể thu hồi cho máy chủ, giúp duy trì khả năng vượt ngưỡng (overcommit) khi các môi trường phân tách theo thời gian.

Snapshot, tạm dừng, tiếp tục, phân nhánh (fork)

Bốn tính năng này là lý do dự án tồn tại. AgentENV thực hiện snapshot các thay đổi về bộ nhớ và hệ thống tệp một cách tăng dần (incrementally) thay vì ghi lại toàn bộ hình ảnh mỗi lần.

Các số liệu được báo cáo như sau: Các môi trường dựa trên snapshot khởi động hoặc tiếp tục trong dưới 50 ms và tạm dừng trong dưới 100 ms. Việc chụp snapshot tăng dần hoàn tất trong dưới 100 ms, ngay cả khi đĩa đang bị sửa đổi cường độ cao.

Fork là tính năng đặc thù nhất đối với RL. Một sandbox đang chạy có thể nhân bản thành tối đa 16 sandbox con độc lập trên cùng một node. Nguồn sẽ tạm dừng trong thời gian ngắn khi chụp, sau đó tiếp tục. Mỗi sandbox con kế thừa hệ thống tệp, bộ nhớ và cấu hình tài nguyên của nguồn.

Hiệu quả thực tế là quá trình thiết lập tốn kém chỉ cần chạy một lần. Một nhóm có thể cài đặt các phụ thuộc, sao chép kho lưu trữ và đạt đến trạng thái tác vụ. Trạng thái chính xác đó sau đó phân nhánh thành các lần triển khai song song. Các snapshot được lưu trữ lâu dài vào bộ lưu trữ đối tượng tương thích S3 hoặc hệ thống tệp phân tán dùng chung.

Một thiết lập mặc định cần lưu ý: Mỗi sandbox đều có TTL (thời gian tồn tại), và khi hết hạn sẽ kích hoạt lệnh tạm dừng, không phải xóa. Việc xóa yêu cầu phải truyền tham số autoPause: false trên API tạo.

Tải theo yêu cầu và kho lưu trữ snapshot

Hình ảnh được tải theo yêu cầu thông qua overlaybd. Đĩa cục bộ đóng vai trò là bộ nhớ đệm có giới hạn, giữ lại dữ liệu nóng và loại bỏ dữ liệu lạnh.

Đây là điều làm cho câu chuyện ở cấp độ đội ngũ (fleet-level) trở nên khả thi. Các node không cần phải làm nóng trước mọi hình ảnh hoặc giữ một bản sao hoàn chỉnh của mọi snapshot. Do đó, tập hợp hình ảnh có thể truy cập được có thể vượt quá dung lượng đĩa cục bộ trong khi thời gian khởi động vẫn nhanh trên toàn cụm.

Trạng thái snapshot được tổ chức thành ba lớp. Không gian làm việc dàn dựng (staging workspace) của trình xây dựng giữ các artifact trong quá trình build. Kho lưu trữ snapshot đã commit là nguồn sự thật bền vững. Bộ nhớ đệm runtime cục bộ của node giữ các cấu hình dẫn xuất tại thời điểm khởi chạy.

Hai backend kho lưu trữ được hỗ trợ: posix_fs (mặc định) và oss. Đường dẫn oss chạy thông qua một client tương thích S3 dùng chung, vì vậy cần phải chỉ định rõ khu vực (region).

Một phương thức truyền tải ngang hàng (P2P) tùy chọn dựa trên iroh có thể quảng bá các artifact đã commit tới các node ngang hàng. Nó bị vô hiệu hóa theo mặc định. Tài liệu nêu rõ rằng P2P không thay đổi mô hình snapshot đã commit. Đối với lưu trữ dùng chung, tài liệu yêu cầu băng thông ít nhất 1 Gbps và khuyến nghị mạnh mẽ mức 10 Gbps hoặc nhanh hơn.

Khả năng tương thích với E2B là đòn bẩy để áp dụng

AgentENV cung cấp một HTTP API tương thích với E2B. Chỉ cần trỏ E2B_API_URL vào máy chủ của bạn và SDK Python hoặc TypeScript chính thức của E2B sẽ hoạt động mà không cần thay đổi mã.

Đây là một lựa chọn phân phối có chủ đích. Các nhóm đang chạy tác nhân trên E2B có thể tự lưu trữ runtime mà không cần viết lại mã tác nhân của họ. Một CLI aenv gốc cũng được cung cấp, và tài liệu khuyến nghị sử dụng nó cho các quy trình làm việc đặc thù của AgentENV.

Các đường dẫn triển khai

Các điều kiện tiên quyết là nhân Linux 6.8+ và quyền truy cập /dev/kvm; tập lệnh cài đặt yêu cầu thêm Ubuntu 24.04. CLI aenv hỗ trợ Linux và macOS trên x86_64 và arm64. Bản thân máy chủ chỉ hỗ trợ Linux vì nó cần KVM.

Năm đường dẫn được ghi lại trong tài liệu:

Các triển khai đa node bổ sung một gateway trên cổng:8080 và một bộ lập lịch (scheduler) trên cổng:9090.

Những điểm chính cần lưu ý

Hãy xem kho lưu trữ GitHub và tài liệu. Mọi công lao cho nghiên cứu này thuộc về các nhà nghiên cứu của dự án.

Asif Razzaq là CEO của Marktechpost Media Inc. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ nhân tạo vì lợi ích xã hội. Nỗ lực gần đây nhất của ông là ra mắt Nền tảng Truyền thông Trí tuệ nhân tạo, Marktechpost, nổi bật với việc đưa tin chuyên sâu về học máy và học sâu, vừa đảm bảo tính kỹ thuật vừa dễ hiểu đối với đông đảo khán giả. Nền tảng này tự hào với hơn 2 triệu lượt xem hàng tháng, minh chứng cho sự phổ biến của nó đối với độc giả.