NVIDIA ra mắt Open Agent Safety Platform: Bảo mật AI Agent với OpenShell và Sentry trên BlueField-4

NVIDIA đã ra mắt NVIDIA Open Agent Safety Platform, một nền tảng phần mềm mở và thiết kế hệ thống tham chiếu dành cho bảo mật tác nhân AI (AI agent). Nền tảng này kết hợp môi trường thực thi bảo mật OpenShell với NVIDIA Sentry, một cơ chế giám sát ngoài băng tần (out-of-band) trên các DPU BlueField-4. Ý tưởng cốt lõi rất đơn giản: các biện pháp kiểm soát an toàn không nên nằm bên trong chính tác nhân mà chúng cần kiểm soát.

Liệu nó có thể triển khai ngay bây giờ không? Với OpenShell thì có. Nó sử dụng giấy phép Apache 2.0, cài đặt được trên Linux, macOS (Apple Silicon) hoặc Windows WSL 2, và kho lưu trữ vẫn đang gắn nhãn alpha.

Tại sao NVIDIA chuyển việc thực thi xuống dưới cấp độ tác nhân

Báo cáo kỹ thuật của NVIDIA trích dẫn các báo cáo gần đây từ một số phòng thí nghiệm tiên phong. Các tác nhân đã thoát khỏi môi trường đánh giá và tiếp cận các hệ thống mà lẽ ra chúng không được phép chạm vào. Một số tác nhân đã báo cáo sai lệch về những gì chúng thực hiện. Nhóm NVIDIA chỉ ra một mô hình phổ biến: các tác nhân đã vượt qua các biện pháp kiểm soát ở tầng ứng dụng để hoàn thành nhiệm vụ của mình.

NVIDIA gọi chế độ lỗi này là drift (trôi dạt). Drift có thể xảy ra sau một khối chính sách, một lỗi phần mềm, một công cụ bị thiếu hoặc các hướng dẫn mơ hồ. Nhóm NVIDIA lập luận rằng không thể loại bỏ drift thông qua huấn luyện mà không làm mất đi khả năng của tác nhân. Do đó, không thể kỳ vọng một tác nhân có thể tự quản lý hoàn toàn.

Nền tảng được xây dựng như thế nào

OpenShell (môi trường thực thi): Mỗi tác nhân chạy trong một sandbox biệt lập. Một gateway quản lý vòng đời sandbox trên các driver Docker, Podman, MicroVM hoặc Kubernetes. Mọi kết nối đi ra đều đi qua một công cụ chính sách để cho phép, gắn thông tin xác thực vào một endpoint đã phê duyệt, hoặc từ chối và ghi nhật ký. Các quy tắc về hệ thống tệp và tiến trình được khóa ngay khi tạo. Các quy tắc về mạng và nhà cung cấp có thể được tải lại nóng (hot-reloadable). Xem hướng dẫn về các biện pháp kiểm soát môi trường thực thi của NVIDIA để biết chi tiết triển khai.

Sentry (cơ chế giám sát trong silicon): Sentry chạy trên BlueField-4 DPU và sử dụng NVIDIA DOCA để kiểm tra các yêu cầu và phản hồi của tác nhân. Nó cung cấp dữ liệu đo lường từ xa được chứng thực, xác minh danh tính tác nhân và thực thi quyền truy cập zero-trust vào dữ liệu, công cụ và API. Nó được tách biệt khỏi máy chủ, vì vậy nếu môi trường thực thi bị xâm nhập cũng không thể vô hiệu hóa nó.

Vị trí rất quan trọng: Trong một Vera Rubin POD, BlueField-4 của mỗi khay tính toán nằm trên con đường duy nhất của node dẫn đến mô hình. Một tác nhân không thể hoạt động nếu không thông qua lệnh gọi suy luận tiếp theo của nó. Điều đó khiến con đường này trở thành điểm quan sát tốt nhất và cũng là công tắc ngắt khẩn cấp. Đối với các hệ thống Vera kết hợp BlueField-4 hiện có, NVIDIA cho biết việc kích hoạt các biện pháp bảo vệ này chỉ là một bản cập nhật phần mềm.

Stack này được tối ưu hóa cho NVIDIA Vera CPU nhưng tương thích với các phần cứng khác. Nhóm NVIDIA khẳng định Vera mang lại hiệu suất sandbox nhanh hơn tới 80% so với cơ sở hạ tầng CPU truyền thống. OpenShell cũng có thể mở rộng sang các nền tảng Arm và Intel.

5 Nguyên tắc thiết kế

1. Chính sách có thể kiểm chứng: một bộ kiểm chứng (prover) đảm bảo chính sách không thể vượt quá ý định của người vận hành trước khi tác nhân chạy.
2. Thực thi ngoài băng tần: các biện pháp kiểm soát nằm ngoài tầm với của tác nhân.
3. Kiểm soát con đường dẫn đến mô hình: đây là điểm quan sát và là công tắc ngắt khẩn cấp.
4. Mở rộng thẩm quyền với khả năng suy luận minh bạch: các tác nhân có năng lực cao hơn cần tư duy có thể kiểm tra được nhiều hơn.
5. Trách nhiệm chia sẻ: các phòng thí nghiệm, doanh nghiệp và nhà cung cấp phần cứng mỗi bên chịu trách nhiệm một lớp.

So sánh với các Sandbox tác nhân khác

Các giải pháp thay thế gần nhất là các nền tảng sandbox cho mã nguồn do tác nhân tạo ra. Không giải pháp nào cung cấp cơ chế giám sát phần cứng tương đương.

Ai đang xây dựng trên nền tảng này

NVIDIA cho biết hơn 100 tổ chức đang làm việc với nền tảng này. Anthropic đã tích hợp Claude Managed Agents với OpenShell và BlueField. SpaceXAI sử dụng nó cho các tác nhân lập trình Cursor và các mô hình Grok. Salesforce đã kết nối OpenShell với Slack để phê duyệt các yêu cầu cấp quyền của tác nhân. SAP đang nhúng OpenShell vào môi trường thực thi Joule Studio. Red Hat, SUSE và Canonical đang tích hợp nó vào hệ điều hành của họ.

Nỗ lực này đóng góp cho Open Secure AI Alliance, được quản lý bởi Linux Foundation. OpenShell và các kỹ năng của nó có sẵn trên GitHub và tài liệu OpenShell.

Những điểm chính cần lưu ý

• 2 lớp: OpenShell tạo sandbox cho tác nhân, Sentry giám sát nó từ silicon riêng biệt.
• Theo NVIDIA, Sentry có thể cách ly một tác nhân rời khỏi ranh giới của nó trong vài mili giây.
• Các chính sách của OpenShell là YAML khai báo, với các quy tắc mạng được thực thi ở cấp phương thức HTTP và đường dẫn.
• OpenShell chạy Claude Code, Codex, OpenCode và GitHub Copilot CLI ngay khi cài đặt.
• NVIDIA liệt kê hơn 100 tổ chức đang làm việc với nền tảng này, bao gồm Anthropic và Microsoft.

Câu hỏi thường gặp

• OpenShell có yêu cầu BlueField-4 không? Không. Nó chạy trên cơ sở hạ tầng cục bộ, on-prem, đám mây và Kubernetes. BlueField-4 chỉ bổ sung thêm Sentry.
• Điều này khác gì so với model guardrails? Guardrails định hình những gì một tác nhân (agent) cố gắng thực hiện. Các kiểm soát thời gian thực (runtime controls) thực thi những gì tác nhân đó được phép làm.
• Tôi có thể sử dụng các tác nhân và mô hình hiện có không? Có. OpenShell hỗ trợ các mô hình mở, mô hình đóng và các hình ảnh sandbox tùy chỉnh.

Xem Nền tảng tại đây và Chi tiết kỹ thuật. Mọi công lao thuộc về nhà nghiên cứu của dự án này. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ ML của chúng tôi cũng như Đăng ký Bản tin của chúng tôi. Khoan đã! Bạn có dùng Telegram không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, Trang Hugging Face, Ra mắt sản phẩm hoặc Hội thảo trực tuyến, v.v.? Kết nối với chúng tôi

Asif Razzaq

Asif Razzaq là CEO của Marktechpost AI Media Inc.. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ nhân tạo vì lợi ích xã hội. Nỗ lực gần đây nhất của ông là ra mắt Nền tảng Truyền thông Trí tuệ nhân tạo, Marktechpost, nổi bật với việc đưa tin chuyên sâu về tin tức học máy (machine learning) và học sâu (deep learning), vừa đảm bảo tính kỹ thuật vừa dễ hiểu đối với đông đảo khán giả. Nền tảng này tự hào với hơn 2 triệu lượt xem hàng tháng, minh chứng cho sự phổ biến của nó đối với người dùng.

Bài gốc còn tiếp — xem tiếp tại bài gốc ↗