OpenRouter ra mắt công cụ Shell Sandbox và Files API: Cho phép AI thực thi lệnh trong môi trường Linux

Giới thiệu công cụ máy chủ openrouter:shell và Files API: bất kỳ mô hình nào trên OpenRouter giờ đây đều có thể chạy các lệnh trong một container Linux được lưu trữ. Files API cho phép tải lên các tệp để mô hình làm việc và tải xuống các kết quả đầu ra. Cả hai đều đã có sẵn từ hôm nay dưới dạng bản beta.

Shell và Files gia nhập danh sách các công cụ máy chủ ngày càng mở rộng của chúng tôi, cho phép bạn tạo các hành vi tác nhân phía máy chủ mà bạn có thể hoán đổi giữa các mô hình. Ví dụ: bạn có thể yêu cầu bất kỳ mô hình nào tìm kiếm trên web, viết một tập lệnh chuyển đổi kết quả thành biểu đồ và chạy nó hoàn toàn bằng tài nguyên tính toán phía máy chủ.

Hãy thử nghiệm trong phòng chat bằng cách bật công cụ shell, và đọc các hướng dẫn về shell, container và Files API để biết chi tiết về API. Thời gian chạy sandbox có giá 0,0001 USD mỗi giây, được tính phí như một phần của yêu cầu và đã bao gồm việc sử dụng Files API. Chi tiết có trong phần Định giá (Pricing).

Cách thức hoạt động của shell

Để sử dụng openrouter:shell, hãy gửi nó trong mảng tools cho bất kỳ mô hình nào hỗ trợ gọi công cụ (tool calling). Điều này cho phép mô hình quyết định khi nào nó cần một terminal và khi nào cần gọi nó:

Chúng tôi đã giới thiệu ba khả năng hoạt động cùng nhau để cung cấp việc thực thi lệnh và tệp tin phía máy chủ:

Khi mô hình gọi công cụ, nó sẽ phát ra một loạt các lệnh. Các lệnh này được thực thi bên trong container, mỗi lệnh trong một lần gọi riêng biệt, và trả về stdout, stderr cùng mã thoát (exit code) cho mô hình. Điều này cho phép mô hình phản ứng với kết quả đầu ra mà nó nhận được. Ví dụ: nếu nó viết một tập lệnh để phân tích tệp CSV của bạn và quá trình phân tích thất bại, nó có thể thấy vấn đề trên stderr và sửa tập lệnh trước khi đưa ra câu trả lời.

Chế độ xem chi tiết thế hệ (generation details) trên trang Logs hiển thị yêu cầu dưới dạng dòng thời gian. Các lượt phản hồi của mô hình và quá trình chạy sandbox xuất hiện dưới dạng các hàng riêng biệt, mỗi hàng có thời lượng và chi phí riêng:

Shell và bash

Chúng tôi đã phát hành hai công cụ khác nhau để thực thi lệnh trong sandbox nhằm cung cấp khả năng tương thích với cả đặc tả của OpenAI và Anthropic. Sự khác biệt đáng chú ý nhất là mặc định của công cụ bash là yêu cầu ứng dụng của bạn chạy lệnh cục bộ. Trên OpenRouter, bạn có thể thay đổi engine để ghi đè hành vi này và thực thi trên máy chủ.

engine: "openrouter" trên cả hai công cụ đảm bảo việc thực thi phía máy chủ trong sandbox của OpenRouter với bất kỳ mô hình nào.

Containers

Container là một môi trường Linux biệt lập trên cơ sở hạ tầng của OpenRouter, được giới hạn trong không gian làm việc (workspace) của bạn. Các container có thể được cấu hình cho nhu cầu ứng dụng của bạn:

Files và shell kết hợp

Files API là bộ lưu trữ không gian làm việc nằm song song với container. Bạn tải lên các tệp đầu vào tại đó để shell làm việc và bạn di chuyển các kết quả đầu ra của shell trở lại đó.

Tải tệp lên cho shell

Tải tệp đầu vào lên bằng POST /api/v1/files. Phản hồi bao gồm một file id bắt đầu bằng or_file_:

Sau đó, đính kèm nó theo id trong môi trường của công cụ:

Các tệp được đính kèm xuất hiện trong thư mục chính dưới dạng các bản sao có thể ghi, tối đa 20 tệp mỗi container. Mỗi bản sao được đặt tên bằng 8 ký tự cuối của file id cộng với tên tệp gốc, vì vậy data/sales.csv được đính kèm với id ở trên sẽ trở thành ~/NR6q4V8w-sales.csv. Các thay đổi bên trong container sẽ không ảnh hưởng đến tệp gốc trong không gian làm việc. Một container bắt đầu chỉ với các tệp bạn đính kèm vào nó.

Tải xuống tệp do shell tạo ra

Mỗi kết quả shell liệt kê các tệp mà lệnh đã tác động, với một cfile_ id cho mỗi tệp. Tải xuống các tệp bằng endpoint nội dung tệp container:

Các tệp container được lưu giữ trong 30 ngày. Để giữ một tệp lâu dài, hãy quảng bá (promote) nó:

Việc quảng bá sẽ sao chép tệp container vào không gian làm việc của bạn và trả về một or_file_ id mới, bạn có thể đính kèm nó vào một lần chạy sau theo cách tương tự như tải lên. Không giống như tải lên, các tệp được quảng bá có thể tải xuống được thông qua Files API.

Chi tiết về Files API

Bạn có thể xem tất cả các tệp của mình trên trang tệp không gian làm việc. Các tệp bạn tải lên trực tiếp không thể tải xuống được, nhưng các tệp được quảng bá từ container thì có thể.

Sử dụng nhiều công cụ máy chủ cùng nhau

Shell là một trong nhiều công cụ máy chủ mà chúng tôi cung cấp và chúng rất mạnh mẽ khi làm việc cùng nhau. Ở đây, mô hình sử dụng tìm kiếm web để tìm tài liệu và shell để biến nó thành một tệp:

Tệp ~/out/releases.md kết quả xuất hiện trong danh sách tệp của kết quả shell và bạn tải xuống nó bằng endpoint nội dung tệp container ở trên.

Sự kết hợp này cũng quan trọng nếu bạn không muốn cấp quyền truy cập mạng cho container. Tìm kiếm web chạy bên ngoài container, vì vậy mô hình có thể lấy nội dung web và chuyển nó vào các lệnh của mình trong khi container vẫn giữ chính sách mạng mặc định mà không có quyền truy cập internet riêng.

Trong phòng chat, sự kết hợp tương tự hoạt động với các công tắc shell và tìm kiếm web được bật. Các tệp mà quá trình chạy tạo ra sẽ xuất hiện trong cuộc trò chuyện dưới dạng các tệp tải xuống.

Định giá (Pricing)

Việc sử dụng Shell và Bash được tính phí theo thời gian sandbox. Giá là 0,0001 USD mỗi giây hoạt động, được đo từ thời điểm yêu cầu chạy lệnh sandbox đầu tiên cho đến lệnh sandbox cuối cùng. Thời gian container ở trạng thái nhàn rỗi sau khi yêu cầu kết thúc sẽ không bị tính phí.

Chúng tôi tính phí tối thiểu 30 giây khi một yêu cầu khởi động một container lạnh, dù là container mới hay container đã ở trạng thái nhàn rỗi. Nếu một tác nhân thực hiện nhiều yêu cầu liên tiếp đến cùng một container, chỉ yêu cầu đầu tiên phải trả phí tối thiểu.

Việc tính phí theo yêu cầu giúp dễ dàng xác định chi phí để chạy một yêu cầu cụ thể. Chi phí của một yêu cầu là chi phí token cộng với thời gian sandbox của nó, và thời gian sandbox xuất hiện dưới dạng một hàng riêng trong dòng thời gian của yêu cầu trên trang Logs.

Việc sử dụng Files API không có phí riêng, nhưng tổng dung lượng lưu trữ bị giới hạn ở mức 10 GiB.

Vô hiệu hóa công cụ cho không gian làm việc

Các công cụ máy chủ được bật theo mặc định. Quản trị viên không gian làm việc có thể tắt bất kỳ công cụ nào trong số đó từ trang Server Tools của không gian làm việc, nơi mỗi công cụ có một công tắc hiển thị Available (Có sẵn) hoặc Blocked (Đã chặn). Cài đặt này áp dụng cho mọi yêu cầu mà không gian làm việc thực hiện, cho dù thông qua khóa API, phòng chat hay các cài đặt trước (presets).

Bắt đầu

Shell, Bash, Files API và các container đang ở bản beta và đã có sẵn ngay bây giờ. API có thể thay đổi trong quá trình beta. Nếu có điều gì đó không hoạt động như bạn mong đợi, hãy cho chúng tôi biết trong kênh #feedback trên Discord của chúng tôi.