NVIDIA ra mắt nền tảng bảo mật AI Agent mã nguồn mở: Giám sát và cô lập ngay từ cấp độ chip

Để hiểu vị thế hiện tại của agentic AI, hãy xem xét bước ngoặt công nghệ lớn gần nhất: sự trỗi dậy của internet vào những năm 90. Nó rất mới mẻ và đầy tiềm năng. Bạn có thể xây dựng một trang web vào cuối tuần và chia sẻ nó với cả thế giới, hoặc trò chuyện với ai đó ở nửa kia địa cầu trong các phòng chat trực tuyến mà không tốn phí điện thoại đường dài. Nó mang lại cơ hội vô tận, nhưng cũng đi kèm nhiều rủi ro. Một trang web có thể chạy mã trên máy tính của bạn, đánh cắp thông tin nhạy cảm hoặc lây nhiễm virus. Dù vậy, mọi người vẫn yêu thích nó.

Để tạo ra một lớp tin cậy, cộng đồng đã xây dựng các giải pháp như kết nối mã hóa và biểu tượng ổ khóa để người dùng biết khi nào kết nối an toàn. Bước tiến đột phá về bảo mật đến từ một ý tưởng cấp tiến vào thời điểm đó: cô lập mỗi trang web trong một sandbox riêng (một tab trong trình duyệt) để một trang web độc hại không thể lây nhiễm sang phần còn lại của máy tính. Amazon, Google, Netflix và Meta đều được xây dựng trên lớp tin cậy này.

Bảo mật và an toàn cho internet đã thúc đẩy thương mại trực tuyến, kết nối, trò chơi và nhiều thứ khác vốn không thể thực hiện được trước đây. Bảo mật và an toàn không làm chậm tốc độ đổi mới—chúng cho phép tốc độ đó tăng tốc.

Tại sao phải xây dựng một lớp tin cậy cho các agent ngay bây giờ?

Một vài phòng thí nghiệm tiên phong gần đây đã báo cáo các phiên bản của cùng một câu chuyện: các AI agent đã thoát khỏi môi trường đánh giá vốn được thiết kế để kiểm soát chúng và tiếp cận các hệ thống mà lẽ ra chúng không được phép. Một số agent thậm chí còn báo cáo sai lệch về những gì chúng đã thực hiện. Các biện pháp kiểm soát bảo mật hiện tại là không đủ.

Trong vài tuần qua, những báo cáo này đã dẫn đến một cuộc tranh luận nghiêm túc về tốc độ phát triển của agent. Chúng tôi tin rằng cần phải tăng tốc độ nghiên cứu và kỹ thuật an toàn AI với sự hợp tác của các phòng thí nghiệm tiên phong và cộng đồng rộng lớn hơn.

Không phải một khả năng mới đơn lẻ nào dẫn đến những sự cố thoát ly này. Đó là sự kết hợp của các công cụ, thời gian và những chỉ dẫn mơ hồ, cùng với mong muốn để agent suy nghĩ "vượt ra ngoài khuôn khổ".

An toàn cho agent đòi hỏi các biện pháp kiểm soát bảo mật độc lập. Internet không trở nên an toàn nhờ việc yêu cầu các nhà phát triển web hứa sẽ làm điều tốt. Nó trở nên an toàn vì trình duyệt đã ngừng tin tưởng hoàn toàn vào mã trong các trang web.

Chúng ta cần xây dựng lớp tin cậy này cho các agent.

Những bài học rút ra từ việc xây dựng OpenShell

NVIDIA OpenShell (Apache 2.0) là một runtime bảo mật mã nguồn mở để thực thi các autonomous AI agent trong các môi trường sandbox với khả năng cô lập ở cấp độ kernel. Trong quá trình xây dựng OpenShell suốt một năm qua, chúng tôi đã học được rằng mọi agent nên chạy trong một môi trường zero-trust ngay từ đầu. Chúng cần sự cô lập, giám sát và phát hiện hành vi. Hôm nay, chúng tôi giới thiệu một nền tảng mở giúp hiện thực hóa điều này.

Trong nghiên cứu của mình, chúng tôi đã quan sát cách các agent có thể đi chệch hướng. Drift (sự trôi dạt) đề cập đến các hành động của agent đi chệch khỏi nhiệm vụ dự định hoặc các ràng buộc vận hành. Drift có thể xảy ra do phản hồi từ một chính sách chặn, một lỗi hoặc một công cụ bị thiếu. Drift cũng có thể xảy ra khi các chỉ dẫn mơ hồ hoặc các agent bị để chạy trong nhiều ngày hoặc nhiều tuần để giải quyết các vấn đề khó, nơi mà 1.000 nỗ lực đầu tiên của chúng không hiệu quả. Điều này không thể loại bỏ bằng cách huấn luyện mà vẫn giữ nguyên khả năng của agent. Và đây là bài học quan trọng nhất: một agent trong những tình huống này không thể được kỳ vọng sẽ tự quản lý hành vi của chính nó một cách hoàn toàn.

Năm nguyên tắc cốt lõi để xây dựng một hệ thống agent

1. Chính sách cần phải có khả năng kiểm chứng: Trước khi một agent chạy, một trình kiểm chứng (prover) sẽ chứng minh rằng chính sách của nó không thể thoát khỏi ý định của người vận hành.
2. Việc thực thi phải nằm ngoài phạm vi (out of band): Các biện pháp kiểm soát không nằm bên trong hoặc trong tầm với của agent. Agent không cần biết rằng nó đang bị theo dõi.
3. Đường dẫn đến mô hình (bộ não) là điểm kiểm soát: Một agent không thể hành động nếu không có suy nghĩ tiếp theo của nó. Bằng cách kiểm soát đường dẫn đến mô hình, bạn sở hữu cả điểm quan sát tốt nhất và công tắc ngắt (kill switch) để dừng nó lại nếu cần.
4. Mở rộng quyền hạn của agent đi kèm với khả năng kiểm tra tư duy của nó: Agent càng có thể làm nhiều việc, thì lý luận của nó càng cần phải hiển thị rõ ràng. Một ưu điểm của các mô hình mở là toàn bộ không gian lý luận và các kích hoạt (activations) đều có thể nhìn thấy được.
5. Áp dụng mô hình trách nhiệm chung: Các phòng thí nghiệm, doanh nghiệp và nhà cung cấp phần cứng mỗi bên sở hữu một lớp, giống như điện toán đám mây ngày nay. Runtime của agent và ngôn ngữ chính sách của nó cần phải mở để bất kỳ nhà cung cấp nào cũng có thể tích hợp vào.

Ba lớp nền tảng an toàn agent mở

Một nền tảng an toàn cho AI agent bao gồm ba lớp sau:

• Ứng dụng: Những gì người dùng cuối đang xây dựng. Chứa các thành phần cần thiết cho sự thành công của nhiệm vụ: mô hình, bộ khung (harnesses), công cụ, dữ liệu, cùng các tập lệnh và chương trình hỗ trợ.
• Runtime: Phản chiếu lớp ứng dụng lên cơ sở hạ tầng. Điều phối khối lượng công việc của agent trên cơ sở hạ tầng đáp ứng các yêu cầu của người dùng cuối (máy trạm, thiết bị biên, trung tâm dữ liệu) và cung cấp khả năng giám sát liên tục, thực thi chính sách và quản trị theo thời gian thực.
• Cơ sở hạ tầng: Các tài nguyên phần cứng cụ thể được sử dụng để thực thi khối lượng công việc của agent. Các cuộc gọi mạng đến các dịch vụ thượng nguồn, quyền truy cập cơ sở dữ liệu và hệ thống tệp, tính toán đa năng cho việc thực thi công cụ và mã, tính toán tăng tốc cho giám sát an toàn và tăng mật độ khối lượng công việc.

Một nền tảng phân lớp cho an toàn agent

OpenShell chạy mỗi agent trong một sandbox và chuyển đổi các chỉ dẫn của người vận hành thành một chính sách có thể kiểm chứng. Người vận hành xác định những tệp, mạng, công cụ, quy trình và thông tin xác thực nào mà một agent có thể truy cập. OpenShell kiểm tra các giới hạn đó trước khi agent chạy và thực thi chúng trong khi agent làm việc.

Đối với các tổ chức muốn có thêm một lớp độc lập, NVIDIA Sentry mở rộng khả năng giám sát và thực thi vào phần cứng NVIDIA BlueField. NVIDIA DOCA giúp nền tảng bảo mật BlueField có thể lập trình được và kết nối nó với chính sách của OpenShell. Nó tương quan các tương tác của agent, các quyết định chính sách, cùng quyền truy cập công cụ và dữ liệu để tạo ra một bản ghi theo ngữ cảnh về hoạt động của agent.

Điều này giúp các hệ thống an toàn xác định drift, điều tra hành vi đáng ngờ và xác định khi nào cần can thiệp hoặc phân tích sâu hơn. Cổng DOCA bổ sung cho sự bảo vệ hành vi này bằng quản trị danh tính, liên tục xác minh danh tính và quyền hạn được ủy quyền của mỗi agent để đảm bảo nó hoạt động trong phạm vi được chỉ định.

Để tìm hiểu thêm, hãy tham khảo hướng dẫn kỹ thuật, Thêm các kiểm soát Runtime vào AI Agents với NVIDIA OpenShell.

Vận hành ở quy mô nhà máy AI

NVIDIA Open Agent Safety Platform được tối ưu hóa để chạy trên các hệ thống dựa trên CPU NVIDIA Vera và DPU BlueField, đồng thời tương thích với các hệ thống phần cứng khác.

Trong một NVIDIA Vera Rubin POD, mỗi khay tính toán đều bao gồm một bộ xử lý dữ liệu BlueField-4 nằm trên đường dẫn duy nhất của node tới mô hình. Từ vị trí này, BlueField-4 cung cấp khả năng quan sát liên tục, ngoài băng tần (out-of-band) về hành vi của tác nhân (agent) và thực thi các chính sách bảo mật theo thời gian thực ở tốc độ đường truyền. Được cách ly khỏi máy chủ và nằm ngoài tầm kiểm soát của tác nhân, nó đóng vai trò là lớp bảo vệ cơ sở hạ tầng đáng tin cậy ngay cả khi tài nguyên máy chủ không còn đáng tin cậy. Các tổ chức có thể sử dụng nó để chạy NVIDIA Sentry như một lớp bảo mật tùy chọn bên cạnh OpenShell.

Nền tảng này cho phép bảo mật linh hoạt, thực thi chính sách OpenShell ngay trên phần cứng (silicon), đồng thời đánh giá liên tục tính bảo mật và tính toàn vẹn của các tác nhân. Điều này bao gồm việc đánh giá bảo mật thời gian chạy và giám sát mọi sai lệch so với mục đích thiết kế dựa trên hồ sơ hành vi được xác định trước. Trong kiến trúc này, toàn bộ các đội ngũ tác nhân, tác nhân phụ, công cụ và ứng dụng đều nằm trong phạm vi kiểm soát với đầy đủ thông tin nguồn gốc. Đối với bất kỳ ai đang chạy trên hệ thống NVIDIA Vera với BlueField-4, việc kích hoạt các biện pháp bảo vệ này chỉ đơn giản là một bản cập nhật phần mềm.

Nền kinh tế tác nhân

Internet được xây dựng dựa trên mã nguồn mở, nghiên cứu mở và những người tin rằng internet có thể thay đổi tiến trình nhân loại. Việc bổ sung yếu tố tin cậy đã biến một khái niệm tuyệt vời thành một nền kinh tế vĩ đại. Nền kinh tế tác nhân, cùng thế hệ các công ty lớn tiếp theo, đang chờ đợi một lớp nền tảng tương tự. Và chúng ta có thể cùng nhau xây dựng nó theo cách tương tự.

NVIDIA đang hợp tác với các nhà lãnh đạo trong ngành trên toàn hệ sinh thái AI để xây dựng nền tảng này thông qua NVIDIA Open Agent Safety Platform. Chúng tôi hoan nghênh các phòng thí nghiệm tiên phong, các nhà phát triển và các nhà cung cấp cơ sở hạ tầng cùng tham gia xây dựng với chúng tôi.

Bắt đầu với NVIDIA OpenShell.