NVIDIA: Bảo mật AI là bài toán kỹ thuật cần giải quyết ở mọi tầng của hệ thống tác nhân

Bảo mật AI là một vấn đề về kỹ thuật. Điều đó có nghĩa là cần có các yêu cầu bảo mật được xác định rõ ràng, các biện pháp kiểm soát có thể thực thi, những người chịu trách nhiệm cụ thể và bằng chứng cho thấy các biện pháp bảo vệ thực sự hiệu quả.

Khi AI ngày càng trở nên mạnh mẽ hơn, ngành công nghiệp phải đẩy nhanh quá trình kỹ thuật bảo mật, mở rộng khả năng tiếp cận các công cụ phòng thủ và chia sẻ những phương pháp hiệu quả nhanh chóng hơn.

Công nghệ thay đổi, các nguyên tắc bảo mật cơ bản vẫn trường tồn

Internet và điện toán đám mây đã thay đổi cách thức vận hành của phần mềm, trong khi các trách nhiệm bảo mật cốt lõi vẫn không thay đổi: thiết lập danh tính, kiểm soát quyền truy cập, hạn chế rủi ro và xác minh rằng các biện pháp bảo vệ đang hoạt động.

Các AI agent mang đến những khả năng mới — lập luận, sử dụng công cụ và điều chỉnh hành động dựa trên dữ liệu mà chúng tiếp cận. Những khả năng này đòi hỏi phải áp dụng các nguyên tắc đã được thiết lập vào các điều kiện vận hành mới.

Nhịp độ này tạo ra áp lực. Các tổ chức mong muốn đạt được lợi ích năng suất từ AI trong khi các quy trình để quản trị và bảo mật các hệ thống này vẫn đang trong quá trình phát triển.

Bảo mật phụ thuộc vào toàn bộ Agent Stack

Các ứng dụng phụ thuộc vào mã nguồn, dữ liệu, danh tính, dịch vụ và cơ sở hạ tầng. Bảo mật phụ thuộc vào cách các thành phần đó phối hợp với nhau — và các AI agent mở rộng hệ thống đó.

Các mô hình cung cấp khả năng; các harnesses tổ chức ngữ cảnh, công cụ và quy trình làm việc; và các môi trường runtime cung cấp cơ sở hạ tầng để thực thi các hành động. Mỗi phần của stack đó đều mang trách nhiệm bảo mật, và việc bảo vệ đúng cách đòi hỏi các biện pháp kiểm soát trên từng lớp khi dữ liệu, hướng dẫn và hành động di chuyển qua hệ thống.

Hãy xem xét một agent đang cập nhật hồ sơ khách hàng. Giả sử nó gặp phải các hướng dẫn độc hại trong một tài liệu đính kèm và cố gắng xuất dữ liệu khách hàng đến một đích đến không được phép.

Một chính sách mạng sẽ chặn việc truyền dữ liệu này, và các bản ghi (logs) được bảo vệ sẽ ghi lại nỗ lực gọi công cụ, quyết định cấp quyền và kết quả để đội ngũ bảo mật có thể xác định công cụ đã được sử dụng và đích đến mà nó cố gắng truy cập.

Quyền cập nhật hồ sơ khách hàng không nên tự động mở rộng sang quyền xuất dữ liệu đó. Một agent có thể yêu cầu thêm quyền truy cập, nhưng bản thân nó không thể tự cấp quyền đó.

Xây dựng bảo mật vào cách thức vận hành của các Agent

Một ranh giới bảo mật phải được giữ vững ngay cả khi một agent đưa ra quyết định sai lầm. Môi trường nơi agent chạy sẽ quyết định những gì nó được phép làm, và do đó phải thiết lập các giới hạn đối với tệp tin, đích đến mạng và các tiến trình một cách độc lập với khả năng lập luận của agent.

Các hướng dẫn và biện pháp bảo vệ có thể giúp định hướng hành vi, nhưng bảo mật cũng đòi hỏi những ranh giới có thể thực thi được.

Mỗi agent cần một danh tính có thể truy vết và các thông tin xác thực giới hạn trong nhiệm vụ được giao. Các tổ chức cần có các chính sách rõ ràng xác định thông tin nào mà agent có thể truy cập, hệ thống nào chúng có thể thay đổi và hành động nào cần được phê duyệt. Trong phạm vi các ranh giới đó, các hành động quan trọng và thay đổi quyền hạn vẫn cần sự phê duyệt của con người.

Các đội ngũ cũng cần xác minh nguồn gốc và tính toàn vẹn của các công cụ, kỹ năng và các phụ thuộc mà agent sử dụng. Nếu có sự cố xảy ra, các bản ghi được bảo vệ về các lệnh gọi công cụ, quyết định cấp quyền và kết quả sẽ giúp các nhà điều tra tái hiện lại những gì đã xảy ra. Các quy trình rõ ràng để thu hồi quyền truy cập và ngăn chặn sự cố sẽ giúp các bằng chứng đó trở nên hữu ích.

NVIDIA OpenShell là một runtime bảo mật, mã nguồn mở giúp thực thi các chính sách nằm ngoài tầm kiểm soát của agent và cung cấp khả năng thực thi trong môi trường sandbox, đồng thời quản lý cách các agent truy cập dữ liệu, mạng và tài nguyên hệ thống. Các đối tác của Open Secure AI Alliance đang xây dựng dựa trên OpenShell: DefenseClaw của Cisco bổ sung một lớp quản trị, và JFrog tích hợp với OpenShell để quét và xác minh các kỹ năng của agent cũng như thực thi các chính sách về việc agent có thể truy cập những kỹ năng nào.

Các đội ngũ kỹ thuật cần bằng chứng về bảo mật

Trước khi triển khai, các đội ngũ cần bằng chứng cho thấy các biện pháp kiểm soát phù hợp đã chặn được các nỗ lực lấy thông tin xác thực ngoài phạm vi của agent hoặc gửi dữ liệu nhạy cảm đến một đích đến không được phép.

Việc kiểm thử cũng nên bao gồm các nỗ lực thay đổi quyền hạn hoặc can thiệp vào quá trình giám sát, và cần được lặp lại sau khi có những thay đổi quan trọng đối với mô hình, công cụ hoặc quy trình làm việc.

Một người chịu trách nhiệm cụ thể phải sử dụng các kết quả đó để quyết định xem hệ thống đã sẵn sàng để triển khai hay chưa và đảm bảo các bài kiểm tra thất bại dẫn đến hành động khắc phục. Các lỗi được phát hiện trong quá trình kiểm thử hoặc vận hành cần được tái hiện, điều tra và giải quyết. Mỗi phát hiện sau đó có thể trở thành một bài kiểm tra có thể lặp lại, cho phép các đội ngũ kiểm tra xem bản sửa lỗi có tiếp tục hoạt động trong các bản phát hành tương lai hay không.

Các ví dụ bao gồm SafeMind của CrowdStrike để kiểm thử và tăng cường khả năng phòng thủ thông qua các mô phỏng tấn công lặp đi lặp lại, và Prisma AIRS của Palo Alto Networks để thực hiện red teaming liên tục khi các mô hình và ứng dụng thay đổi.

Những người phòng thủ cần các công cụ phù hợp vào đúng thời điểm

Việc điều tra các lỗi đòi hỏi các công cụ có năng lực phù hợp với nhiệm vụ, dữ liệu và môi trường. Các mô hình đóng và mở phục vụ các nhu cầu bổ sung cho nhau.

Các mô hình đóng cung cấp các khả năng và dịch vụ được quản lý, trong khi các mô hình mở mang đến cho những người phòng thủ các tùy chọn để kiểm tra các thành phần liên quan, điều chỉnh chiến lược và làm việc trên cơ sở hạ tầng mà họ kiểm soát.

Trong một sự cố, quyền kiểm soát đó có thể giúp một đội ngũ tái hiện lỗi và kiểm tra bản sửa lỗi trên hệ thống của chính họ trong khi vẫn giữ các bằng chứng nhạy cảm trong môi trường của mình.

AI có năng lực có thể hỗ trợ công việc này bằng cách giúp tìm ra các lỗ hổng, xác thực các bản sửa lỗi và điều tra các cuộc tấn công. Giá trị của nó nên được đánh giá thông qua các phát hiện có thể tái hiện, các bản sửa lỗi có thể xác minh và thời gian phản hồi được rút ngắn.

Các ví dụ bao gồm VulnHunter của Capital One dành cho bảo mật mã nguồn dựa trên AI, và Spectra Assure của ReversingLabs dành cho phân tích các gói phần mềm dựa trên AI để phát hiện phần mềm độc hại và sự can thiệp trái phép.

Chuyển dịch lợi thế về phía người phòng thủ thông qua công việc mở

Việc chia sẻ bằng chứng về những gì đã thất bại, những biện pháp kiểm soát nào hiệu quả và cách các bản sửa lỗi được xác minh sẽ giúp các đội ngũ khác củng cố hệ thống của riêng họ.

Nghiên cứu bảo mật của NVIDIA và Open Secure AI Alliance hỗ trợ việc trao đổi đó bằng cách đưa các nghiên cứu, công cụ thực tiễn và chuyên môn vào cộng đồng bảo mật rộng lớn hơn.

Bảo mật AI là một vấn đề về kỹ thuật. Mỗi lần triển khai agent đều cần các ranh giới có thể thực thi, một người chịu trách nhiệm và bằng chứng cho thấy các biện pháp bảo vệ của nó hoạt động hiệu quả. Nghiên cứu mở và các công cụ được chia sẻ giúp nhiều người phòng thủ đáp ứng tiêu chuẩn đó và cải thiện nó khi các khả năng ngày càng tiến bộ.

Tìm hiểu thêm về nghiên cứu bảo mật của NVIDIA và tham gia Open Secure AI Alliance.