Modal cập nhật: Ra mắt Sandbox Sidecars, hỗ trợ Kimi K3 và cải tiến bảng điều khiển

Tháng 8 mang đến sự hỗ trợ cho các mô hình mới, Function calls nhanh hơn và những cải tiến lớn trên toàn bộ Modal Sandboxes. Dưới đây là những điểm nổi bật.

🤖 Hỗ trợ ngay từ ngày đầu cho Kimi K3, Qwen 3.8, GLM 5.3 và GLM 5.3 Flash

Khám phá bốn mô hình mã nguồn mở tiên phong hiện đã được hỗ trợ trên Modal Auto Endpoints.

Cả bốn mô hình đều được hỗ trợ dưới dạng Shared Endpoints với mức giá dựa trên token, hoặc Dedicated Endpoints được tính phí theo giây GPU.

Tạo Dedicated Endpoint hoặc sử dụng Shared Endpoint →

💸 Cải thiện khả năng kiểm soát chi phí

Hai cập nhật giúp kiểm soát việc sử dụng tốt hơn:

🌎 Giảm giá cho việc lựa chọn khu vực rộng (broad region)

Hệ số nhân giá cho việc lựa chọn khu vực rộng đã giảm từ 1.5x xuống 1.15x. Các khu vực rộng—bao gồm Mỹ, EU và APAC—giúp giữ khối lượng công việc gần với người dùng hoặc dữ liệu hơn, đồng thời duy trì nhóm tài nguyên lớn hơn để có tính khả dụng tốt hơn và lập lịch nhanh hơn.

Đọc hướng dẫn chọn khu vực của chúng tôi →

🔒 Private Environments với các vai trò mặc định

Giờ đây, bạn có thể đặt Vai trò mặc định cho một Restricted Environment. Hãy đặt mặc định là No Access và cấp quyền Viewer hoặc Contributor một cách rõ ràng cho những Thành viên cần thiết; những người khác sẽ không thể khám phá hoặc truy cập vào Environment đó. Workspace Owners và Managers vẫn giữ quyền Contributor. Điều này giúp bạn tạo ra các Environment riêng tư cho những dự án nhạy cảm trong một không gian làm việc chung.

Đọc tài liệu →

🌓 Bảng điều khiển (dashboard) đã được làm mới

Chúng tôi đã cập nhật bảng điều khiển với khả năng điều hướng được cải thiện, hệ thống màu sắc mới cho các hình ảnh trực quan và tùy chọn giao diện sáng (light mode). Giao diện sáng hiện đang ở bản beta cho tất cả người dùng, các thay đổi khác sẽ dần được triển khai trong những ngày tới.

🧩 Sandbox Sidecars bước vào giai đoạn public alpha

Sandbox Sidecars hiện đã ở giai đoạn public alpha. Sidecars chạy các container bổ sung bên cạnh một Sandbox chính trên cùng một máy chủ, được kết nối thông qua mạng nội bộ có độ trễ thấp. Chúng hữu ích cho các proxy mạng tùy chỉnh, khối lượng công việc đa container và tách biệt bộ công cụ tác nhân (agent harness) khỏi quá trình thực thi công cụ của nó.

Khám phá Sandbox Sidecars →

📊 Khả năng quan sát tốt hơn cho các yêu cầu CPU và bộ nhớ của Sandbox

Chúng tôi đã ra mắt một bộ biểu đồ giúp việc chỉ định các yêu cầu CPU và bộ nhớ cho Sandbox trở nên dễ dàng hơn, giúp bạn tránh tình trạng OOM (hết bộ nhớ) hoặc tranh chấp CPU mà không phải trả phí cho nhiều tài nguyên hơn mức cần thiết. Các biểu đồ này hiển thị các phân vị khác nhau về mức tiêu thụ CPU và bộ nhớ của các Sandbox trong mỗi Ứng dụng của bạn, để bạn có thể thiết lập kích thước yêu cầu phù hợp.

Tìm hiểu thêm.

🔲 VM Sandboxes hiện đã ở giai đoạn public beta

VM Sandboxes đã bước vào giai đoạn public beta. Chúng chạy một nhân Linux thực thụ, vì vậy chúng có thể hỗ trợ các khối lượng công việc chạy Docker container bên trong Sandbox, hoặc các công việc yêu cầu các tính năng Linux như eBPF, systemd, cgroups hoặc mount hệ thống tệp tùy chỉnh. Điều này thường dẫn đến hiệu suất hệ thống tệp tốt hơn cho các khối lượng công việc nhạy cảm với I/O.

Xem tài liệu của chúng tôi để bắt đầu.

📦 Đã chính thức ra mắt (GA): Ảnh chụp nhanh thư mục Sandbox và API hệ thống tệp Sandbox mới

Ảnh chụp nhanh thư mục Sandbox cho phép bạn chụp nhanh các thư mục đã chọn thay vì toàn bộ hệ thống tệp của container. Bạn có thể sử dụng chúng để cập nhật các phụ thuộc hệ thống tách biệt với mã ứng dụng, tăng tốc độ khôi phục các phiên làm việc trước đó và khôi phục trạng thái ứng dụng vào một nhóm Sandbox đang hoạt động (warm pool). Đọc tài liệu để biết thêm chi tiết.

Ngoài ra, API hệ thống tệp Sandbox mới của chúng tôi hiện đã chính thức ra mắt (GA). API hệ thống tệp mới mang lại độ tin cậy được cải thiện và hiệu suất tốt hơn cho các tệp nhỏ. Tìm hiểu thêm.

🌐 Regional Proxies (Proxy theo khu vực)

Giờ đây, bạn có thể chọn một khu vực khi tạo Modal Proxy trong cài đặt không gian làm việc. Các Proxy cung cấp IP đầu ra tĩnh cho các Function và Sandbox, cho phép bạn kết nối với các tài nguyên được bảo vệ bởi danh sách cho phép IP (IP allowlists). Việc đặt Proxy gần các tài nguyên đó hơn giúp bạn kiểm soát tốt hơn nơi lưu lượng truy cập được định tuyến và có thể giảm độ trễ mạng.

Đọc tài liệu →

💻 Cập nhật SDK

Chúng tôi đã phát hành phiên bản 1.5.5 của Python SDK và phiên bản 0.10.0 của JavaScript và Go SDK. Các cập nhật trong các bản phát hành này bao gồm các API log mới, ghi hệ thống tệp Sandbox nhanh hơn trong JS và Go, và cải thiện báo cáo cấu hình autoscaler.

Đọc nhật ký thay đổi: Python · JavaScript · Go

📚 Thêm thông tin từ Modal

📈 Mở rộng quy mô lên 1 triệu Sandbox đồng thời trong vài giây

Chúng tôi đã xây dựng lại hệ thống lập lịch của mình để hỗ trợ hàng triệu Sandbox đồng thời và hàng chục nghìn lượt tạo mỗi giây. Trong quá trình thử nghiệm, chúng tôi đã khởi chạy một triệu Sandbox trong chưa đầy một phút trong khi vẫn giữ thời gian phản hồi trung bình dưới nửa giây.

Đọc blog →