Baseten ra mắt hạ tầng Carbon và tích hợp NVIDIA OpenShell cho AI Agent

An toàn cho agent đã trở thành mối quan tâm hàng đầu trong những tuần gần đây, đặc biệt tập trung vào việc xác định các dạng lỗi và cách khắc phục chúng. Chúng tôi rất vui mừng được hỗ trợ NVIDIA’s Agent Safety Platform, nền tảng giải quyết vấn đề an toàn trên ba lĩnh vực quan trọng: lớp ứng dụng, thời gian chạy (runtime) và cơ sở hạ tầng.

Với tư cách là đối tác ra mắt NVIDIA OpenShell và là thành viên của Open Secure AI Alliance, chúng tôi đang hợp tác để thúc đẩy sự phát triển của các giải pháp mở và an toàn, bao gồm cả hệ thống vận hành các agent trong môi trường thực tế.

Xây dựng các kiểm soát an toàn mở cho cơ sở hạ tầng agent

Tại Baseten, chúng tôi tin rằng tính mở là một lợi thế cho sự an toàn của AI. Chúng tôi tiếp tục đầu tư vào việc xây dựng các kiểm soát an toàn cho môi trường mở trên các khía cạnh suy luận, huấn luyện và sandbox.

Base Labs phát triển và công bố các phương pháp huấn luyện và giám sát các mô hình mở, còn Baseten tích hợp các công trình đó vào cơ sở hạ tầng triển khai của chúng tôi tại thời điểm chạy. Chúng tôi gần đây đã khởi động nỗ lực về cơ sở hạ tầng an toàn cùng với Base Labs, Hugging Face và Goodfire AI theo hướng này; việc tham gia Open Secure AI Alliance giúp mở rộng cam kết đó.

Việc giám sát chỉ hữu ích nếu các tín hiệu của nó được kết nối với các quyền, sự cô lập và các bước kiểm tra trước khi agent thực thi mã. Các sandbox và lớp mạng của Blaxel là nơi đặt các kiểm soát đó cho các agent đang chạy trên Baseten. Blaxel cũng hỗ trợ OpenShell, runtime mã nguồn mở của NVIDIA giúp thực thi chính sách ở cấp kernel; OpenShell không phụ thuộc vào nền tảng tính toán mà agent đang chạy.

Tại sao chọn Blaxel: sandbox an toàn cho các agent

Chúng tôi đã mua lại Blaxel để xây dựng nền tảng đám mây cho hàng nghìn tỷ agent trong tương lai. Trong khi Baseten xây dựng cơ sở hạ tầng để huấn luyện và phục vụ các mô hình, Blaxel cung cấp lớp thực thi mà các agent cần để hoạt động: sandbox microVM, lưu trữ bền vững và mạng lưới với các kiểm soát truy cập chặt chẽ.

Hôm nay, chúng tôi giới thiệu bản xem trước riêng tư của Carbon, thế hệ cơ sở hạ tầng thứ tư của Blaxel được xây dựng để hỗ trợ hàng nghìn tỷ agent trong môi trường thực tế. Sắp có mặt trên Baseten, Carbon sẽ cung cấp nền tảng cho các sandbox và cơ sở hạ tầng thực thi rộng lớn hơn cho các quy trình làm việc của agent trên nền tảng Baseten.

Giới thiệu Carbon: cơ sở hạ tầng thế hệ thứ tư của Blaxel

Khi các agent cấp độ Astra tự viết và chạy mã của riêng chúng, sự cô lập ở cấp phần cứng trở nên cần thiết (chúng tôi đã từng viết về lý do tại sao các container gặp vấn đề khi agent bắt đầu tự tạo mã). Carbon vẫn chạy trên các microVM và mỗi sandbox Carbon đều có địa chỉ IPv6 chuyên dụng riêng. Trong thập kỷ này, sẽ có từ hàng tỷ đến hàng nghìn tỷ agent chạy song song; IPv6 là lược đồ địa chỉ duy nhất có đủ không gian dự phòng.

Carbon linh hoạt và có khả năng cấu hình cao hơn bất kỳ thế hệ cơ sở hạ tầng nào trước đây mà chúng tôi từng xây dựng. Ngoài IPv6, các tính năng chính đi kèm với Carbon bao gồm bề mặt kernel rộng hơn và khả năng thực thi tại thời điểm chạy, chụp ảnh nhanh (snapshot) thủ công, phân nhánh (forking) và đường dẫn trực tiếp từ snapshot đến môi trường thực tế chỉ trong vài mili giây.

Vì Carbon mang lại các khả năng kernel bổ sung cho sandbox, nó có thể chạy các phần mềm runtime nặng hơn trực tiếp bên trong đó. Điều này mở ra cánh cửa cho một thế hệ công cụ mới được xây dựng dành riêng cho AI agent tiên phong, bao gồm cả OpenShell vừa được NVIDIA công bố. Chúng tôi đã xây dựng một mẫu sẵn sàng sử dụng để bạn có thể khởi động sandbox Carbon với OpenShell đã được cài đặt sẵn.

Nếu OpenShell gắn cờ một agent trong khi đang thực hiện tác vụ và cách ly nó, các snapshot của Carbon cho phép bạn quay trở lại trạng thái tốt gần nhất ngay lập tức thay vì mất toàn bộ quá trình chạy.

Nhận quyền truy cập sớm vào Carbon

Carbon hiện đang trong giai đoạn xem trước riêng tư và đang được triển khai dần dần theo khu vực và không gian làm việc. Tài liệu tham khảo đầy đủ về API snapshot và fork có sẵn trong tài liệu của Blaxel.

Các bài viết sắp tới sẽ đi sâu hơn vào bảo mật bên trong và bên ngoài các sandbox Carbon, các quy trình phân nhánh và chụp ảnh nhanh, và mô hình ứng dụng mà Carbon tạo điều kiện thực hiện. Nếu bạn đang sử dụng phiên bản 3.0 và muốn truy cập Carbon, hãy liên hệ với chúng tôi!