Cloudflare ra mắt @cloudflare/computer: Hệ điều hành cho AI Agent với môi trường thực thi linh hoạt

Những tác nhân (agent) có năng lực mạnh mẽ nhất đều có một điểm chung đơn giản: chúng được cấp một chiếc máy tính riêng để làm việc.

Các tác nhân lập trình hoạt động theo cách này. Bạn cung cấp cho chúng một hệ thống tệp, một shell, các công cụ, gói phần mềm và khả năng chạy mã. Chúng kiểm tra môi trường, thực hiện thay đổi, kiểm thử công việc và tiếp tục tiến trình. Máy tính mang lại cho mô hình một cách thức quen thuộc để tác động vào thế giới. Tại Cloudflare, chúng tôi đang nỗ lực cung cấp các thành phần cơ bản (primitives) phù hợp để xây dựng nên những tác nhân có năng lực mạnh mẽ nhất.

Hôm nay, chúng tôi giới thiệu bản xem trước sớm của @cloudflare/computer. Gói @cloudflare/computer cung cấp một môi trường thực thi tác nhân (agent runtime), nơi các chi tiết và cơ chế về việc mã chạy trong một isolate, một container sandbox hay một trình duyệt web đều được nền tảng xử lý. Mỗi tác nhân đều có một máy tính riêng, còn môi trường thực thi sẽ tối ưu hóa cho hiệu suất và khả năng mở rộng.

Chúng tôi tin rằng để đáp ứng nhu cầu ngày càng tăng về tài nguyên tính toán cho các hệ thống tác nhân, chúng ta cần tìm kiếm các giải pháp vượt ra ngoài công nghệ container hóa truyền thống.

Thay đổi cách thức xây dựng các tác nhân

Chúng ta đã chứng kiến sự tiến hóa tinh tế của câu chuyện này trong sáu tháng qua. Vào đầu năm, việc khởi chạy một container và vận hành tác nhân bên trong đó là tiêu chuẩn. Trong những tháng gần đây, chúng ta đã thấy sự chuyển dịch nhanh chóng sang việc các bộ khung tác nhân (agent harnesses) cung cấp khả năng thực thi mã trong sandbox thông qua các công cụ. Điều này tách biệt phần "đôi tay" (sandbox nơi công việc được thực hiện) khỏi phần "bộ não" (vòng lặp tác nhân).

Bất kể bộ khung chạy ở đâu, việc cấp cho mỗi tác nhân một container đều đặt ra một thách thức — trên tất cả các đám mây, tất cả các nhà cung cấp dịch vụ quy mô lớn (hyperscalers), thế giới không có đủ tài nguyên tính toán để mỗi công ty cấp cho từng tác nhân của người dùng một môi trường tính toán container hóa riêng biệt. Điều này sẽ không thể mở rộng lên hàng trăm triệu, rồi hàng tỷ tác nhân đồng thời. Đây là lý do tại sao ngành công nghiệp đang có nhu cầu cấp bách và hoảng loạn về tài nguyên tính toán CPU, chứ không chỉ riêng GPU.

Chúng tôi đã làm việc với vấn đề này trong một thời gian dài tại Cloudflare, tạo ra một thành phần tính toán hiệu quả hơn: isolates. Chúng tôi đã thực hiện canh bạc đi ngược lại xu hướng đó gần 10 năm trước khi giới thiệu Cloudflare Workers. Chúng tôi tiếp tục thực hiện điều đó một lần nữa khi giới thiệu Durable Objects gần sáu năm trước. Chúng tôi đặt cược vào điều này vì các isolate có khả năng mở rộng ngang vô hạn. Chúng khởi động và tắt cực kỳ nhanh chóng. Chúng có thể ngủ đông khi tác nhân nhàn rỗi, lưu trữ trạng thái của chính tác nhân đó và thậm chí tự khởi chạy các isolate riêng để chạy mã không đáng tin cậy. Isolate là cách tốt nhất để mở rộng theo chiều ngang, và khả năng mở rộng theo chiều ngang chính là điều mà các tác nhân yêu cầu.

Năm ngoái, chúng tôi đã cung cấp cho các isolate khả năng tự khởi chạy các container sandbox của riêng chúng. Ngay từ ngày đầu, kiến trúc của Cloudflare đã được thiết kế để chạy bộ khung tác nhân trong isolate (trong một Durable Object) và gọi một container đính kèm theo yêu cầu như một công cụ. Điều này cho phép bạn sử dụng các thành phần tính toán nặng hơn chỉ khi cần thiết, giúp tối ưu hóa hiệu suất và chi phí. Durable Objects có khả năng mở rộng ngang vô hạn, và container đính kèm cho phép nó mở rộng theo chiều dọc để thực hiện bất kỳ tác vụ nào. Đây là cách chúng tôi tự xây dựng các tác nhân và chúng tôi cũng đang thấy khách hàng xây dựng những thứ tuyệt vời theo cách này.

Nhưng khi nhìn vào nhu cầu cần có nhiều thành phần tính toán cơ bản để xây dựng tác nhân (isolate và container) cùng nhu cầu của khách hàng và nhà phát triển trong việc tự kết hợp chúng ở không gian người dùng (userspace), chúng tôi nghĩ rằng mình có thể làm tốt hơn. Chúng tôi tin rằng mình có thể cung cấp một lớp trừu tượng đơn giản hơn.

Đó là lý do tại sao chúng tôi bắt đầu thử nghiệm này bằng việc phát hành @cloudflare/computer dưới dạng thư viện mã nguồn mở, để học hỏi cùng với những khách hàng đang đẩy mạnh giới hạn của việc vận hành các tác nhân ở quy mô lớn.

Hệ thống tệp chia sẻ giữa các isolate và container

Gói @cloudflare/computer bắt đầu với một tiền đề đơn giản: điều gì sẽ xảy ra nếu chúng ta cung cấp cho một tác nhân một hệ thống tệp đã được chuẩn bị sẵn, được định nghĩa một cách khai báo, chứa mọi thứ cần thiết cho tác vụ hiện tại cùng với các môi trường thực thi để thao tác trên các tệp đó, mỗi môi trường đều có ưu và nhược điểm riêng về tốc độ, khả năng và chi phí?

Hóa ra, các tác nhân ngày nay có khả năng đáng kinh ngạc trong việc chọn đúng môi trường cho tác vụ hiện tại. Một công việc chỉ cần thao tác tệp, xử lý dữ liệu hoặc quản lý kho lưu trữ git có thể chạy bên trong một isolate. Một lệnh cần Linux, npm hoặc tệp nhị phân gốc có thể chạy bên trong một container. Cả hai đều hoạt động trên cùng các tệp được đồng bộ hóa với hệ thống tệp nguồn.

Gói @cloudflare/computer cung cấp một hệ thống tệp bền vững (durable filesystem) mà bạn có thể sử dụng với các kho lưu trữ git, storage bucket hoặc bất kỳ tệp nào bạn chọn. Nó cung cấp các công cụ cho phép bạn đọc, ghi và chỉnh sửa tệp bằng Code Mode hoặc các lệnh bash. Tất cả các thao tác đều được kiểm soát, kiểm toán và giám sát, mang lại cho bạn quyền kiểm soát chi tiết đối với các thay đổi mà tác nhân được phép thực hiện cũng như một dấu vết rõ ràng cho thấy tác nhân đã làm gì.

Cách bạn sử dụng nó

Một instance của không gian làm việc @cloudflare/computer có thể được khởi tạo trên bất kỳ Durable Object nào để cung cấp một hệ thống tệp ảo và môi trường thực thi.

Nó được cài đặt thông qua npm:

Trường hợp sử dụng chính là cung cấp hệ thống tệp và bộ công cụ đó cho một tác nhân. Ví dụ, đây là cách khởi tạo không gian làm việc trên một tác nhân được hỗ trợ bởi @cloudflare/think nhằm mục đích phân loại các báo cáo lỗi.

Một số backend thực thi được cung cấp như một phần của gói @cloudflare/computer, hoặc bạn có thể tự viết backend của riêng mình. Ở đây chúng tôi kết nối với một Cloudflare Container.

Hiển thị các công cụ tệp, git và shell cùng với các công cụ dành riêng cho sản phẩm để trả lời các vấn đề được báo cáo.

Mô hình có thể sử dụng các công cụ trong vòng lặp tác nhân, nhưng bạn cũng có thể sử dụng trực tiếp API không gian làm việc, ví dụ như để chuẩn bị môi trường trước khi đưa ra yêu cầu cho tác nhân.

Hãy xem kho lưu trữ không gian làm việc để biết thêm các ví dụ về cách sử dụng các backend và công cụ khác nhau, bao gồm cả hướng dẫn từng bước về cách xây dựng một tác nhân từ đầu.

Cách thức hoạt động

Phần trung tâm của @cloudflare/computer là không gian làm việc (workspace). Một hệ thống tệp ảo được hỗ trợ bởi SQLite, có thể được nạp dữ liệu từ nhiều nguồn khác nhau bao gồm lưu trữ đám mây và kiểm soát nguồn.

Không gian làm việc hỗ trợ các môi trường thực thi tùy chọn cho phép mã chạy trên hệ thống tệp. Tất cả các môi trường thực thi đều hỗ trợ cùng một giao diện exec(string, options) và hiện tại có hai môi trường được cung cấp sẵn (nhưng bạn có thể tự viết môi trường của riêng mình):

Lớp Workspace cung cấp giao diện API để thao tác trực tiếp với hệ thống tệp cũng như một trình bao bọc tương thích với node:fs để có thể dễ dàng sử dụng với các thư viện JavaScript của bên thứ ba.

Để sử dụng với các tác nhân, chúng tôi cung cấp một bộ công cụ tương thích với AI SDK bao gồm các công cụ phổ biến nhất: read, write, edit, ls và exec. Công cụ exec hơi đặc biệt vì nó hoạt động trên các môi trường thực thi bằng cách nhận một đối số backend. Mô tả công cụ hướng dẫn tác nhân chọn đúng môi trường thực thi cho tác vụ hiện tại: hoặc là một backend worker nhanh, rẻ hoặc là một container đầy đủ tính năng. Trong quá trình thử nghiệm của chúng tôi, các mô hình tiên phong (frontier models) rất giỏi trong việc đưa ra quyết định đúng đắn và chỉ sử dụng container khi thực sự cần thiết.

Tiếp theo là gì

Tại Cloudflare, chúng tôi đã thấy các tác nhân sử dụng độc quyền các isolate để xây dựng, kiểm thử và triển khai các ứng dụng JavaScript với các công cụ hiện đại, tạo tài liệu tùy chỉnh cho từng khách hàng của chúng tôi và sử dụng trình duyệt web để thực hiện các tác vụ phức tạp.

Mục tiêu của chúng tôi với @cloudflare/computer là cung cấp cho một tác nhân một môi trường thực thi nơi container chỉ cần thiết cho dưới 10% công việc của nó, còn các tác vụ lập trình, xử lý âm thanh/video và tạo tài liệu đều có thể được xử lý bởi các isolate.

Hãy dùng thử bản xem trước sớm ngay hôm nay - chúng tôi rất mong nhận được phản hồi từ bạn.