Các lãnh đạo AI công bố hướng dẫn SAFE: Tăng cường minh bạch bảo mật cho mạng lưới tác nhân AI

Các thành viên của Open Secure AI Alliance — hiện đã lên tới hơn 120 tổ chức — đang phát triển các hướng dẫn mới nhằm tăng cường an ninh mạng cho AI tác tử (agentic AI) khi hội nghị Black Hat thường niên bắt đầu tại Las Vegas hôm nay.

Hôm nay, Linux Foundation đã chia sẻ một Yêu cầu lấy ý kiến (Request for Comments) về Shared AI Findings Exchange (SAFE), một bộ hướng dẫn đề xuất được thiết kế để biến các sự cố an ninh mạng liên quan đến tác tử thành cơ chế bảo vệ chung cho toàn bộ hệ sinh thái.

Các hướng dẫn SAFE đang được soạn thảo bởi một nhóm làm việc của Open Secure AI Alliance. NVIDIA, Cisco, CrowdStrike, Hugging Face và Red Hat là những thành viên của Open Secure AI Alliance đang hợp tác với Linux Foundation để đóng góp cho đề xuất ban đầu này.

Các hướng dẫn SAFE bao gồm những đề xuất về việc thu thập và phân tích bảo mật các sự cố AI và các tình huống suýt xảy ra, thông báo cho những bên bị ảnh hưởng, xác định các lỗi kiểm soát lặp đi lặp lại và công bố các khuyến nghị vận hành dựa trên bằng chứng nhằm giảm thiểu rủi ro hệ thống.

An ninh mạng là một cuộc đua không có vạch đích. Mọi sự thay đổi lớn về công nghệ đều tạo ra các bề mặt tấn công tiềm ẩn mới. Những người phòng thủ phải hành động ngay lập tức với tốc độ của tác tử để phản ứng nhanh chóng nhằm bảo vệ cơ sở hạ tầng và tài sản trí tuệ — và cách tốt nhất để làm điều đó là cùng nhau. Khi các hệ sinh thái đáng tin cậy chia sẻ thông tin tình báo về mối đe dọa một cách cởi mở, khả năng phòng thủ tập thể sẽ trở thành một nhân tố gia tăng sức mạnh.

Open Secure AI Alliance cung cấp thêm nhiều công cụ cho an ninh mạng AI

Khung SAFE bổ sung vào các đóng góp công nghệ mà các thành viên Open Secure AI Alliance đang thực hiện như một phần của cam kết chung trong việc xây dựng và chia sẻ các công cụ mở, có thể kiểm tra được trên toàn bộ ngăn xếp bảo mật AI.

Một tác tử AI không chỉ là một mô hình. Nó là một hệ thống — bao gồm kiểm soát danh tính, khung điều khiển (harnesses), rào cản bảo vệ (guardrails), nhật ký và đánh giá — và việc bảo mật nó đòi hỏi nhiều hơn là chỉ quét lỗ hổng.

Bảo mật luôn mạnh mẽ nhất khi được thực hiện theo từng lớp — và dựa trên sự sẵn lòng chia sẻ kiến thức của cộng đồng. Những vấn đề khó khăn nhất sẽ được giải quyết khi những người phòng thủ học hỏi lẫn nhau một cách cởi mở và nhanh chóng.

Ngăn xếp đầy đủ các phần mềm và mô hình an ninh mạng mở của NVIDIA

Các đóng góp của NVIDIA trải dài trên toàn bộ ngăn xếp, bắt đầu với khung nghiên cứu NVIDIA Labs Object-Oriented Agent (NOOA) trên GitHub — giúp việc kiểm thử, truy vết, kiểm toán và quản trị hành vi của tác tử trở nên dễ dàng hơn.

NVIDIA OpenShell runtime hạn chế những gì một tác tử có thể nhìn thấy, chạm vào và thực hiện — bằng cách áp dụng các kiểm soát bảo mật và quyền riêng tư ở cấp độ tác tử, để tác tử không thể tiếp cận những gì không được phép.

Các dòng mô hình mở của NVIDIA — NVIDIA Nemotron cho AI tác tử, NVIDIA Cosmos cho AI vật lý, NVIDIA Isaac GR00T cho robot, NVIDIA BioNeMo cho chăm sóc sức khỏe và khoa học sự sống, cùng NVIDIA Alpamayo, mô hình lớn nhất thế giới dành cho xe tự hành được cấp phép sử dụng thương mại — đều được phát hành kèm với trọng số mở, tập dữ liệu và kỹ thuật huấn luyện.

Các kỹ năng tác tử đã được xác minh mã nguồn mở của NVIDIA mở rộng sự tin tưởng đó sang lớp năng lực.

Mỗi kỹ năng cung cấp các bộ hướng dẫn có thể di chuyển được — được lập danh mục, quét các rủi ro như tiêm lệnh (prompt injection) và đầu độc công cụ (tools poisoning), được ký mã hóa và ghi chép bằng thẻ kỹ năng. Những người phòng thủ biết chính xác một kỹ năng tác tử thực hiện điều gì, nó đến từ đâu và liệu nó có bị sửa đổi sau khi công bố hay không.

NeMo Guardrails, NeMo Anonymizer và NeMo Safe Synthesizer giúp thực thi các chính sách an toàn, bảo vệ dữ liệu nhạy cảm và tạo ra dữ liệu tổng hợp an toàn về quyền riêng tư.

Và Garak, trình quét lỗ hổng LLM mã nguồn mở của NVIDIA, cho phép các đội ngũ bảo mật kiểm tra các mô hình để phát hiện rò rỉ dữ liệu, tiêm lệnh và các kịch bản vượt rào (jailbreak) trước khi triển khai.

Các thành viên liên minh mở rộng công cụ cho phát triển hệ sinh thái mở

Các thành viên khác của Open Secure AI Alliance cũng đã và đang xây dựng trên toàn bộ ngăn xếp phòng thủ, bao gồm danh tính và quyền hạn, khung điều khiển, rào cản bảo vệ runtime, mô hình AI bảo mật, khả năng quan sát và đánh giá, bảo mật và quyền riêng tư dữ liệu, tính sẵn sàng và khả năng phục hồi, v.v.

Một số đóng góp mới nhất trên các lớp khác nhau của ngăn xếp được nêu bật dưới đây, và sẽ còn tiếp tục được cập nhật.

Danh tính và Quyền hạn — Ai được phép hành động

Bạn không thể bảo mật những gì bạn không thể xác định.

Okta đang phát triển các triển khai tham chiếu cho danh tính và quyền truy cập của tác tử, cho thấy cách Cross App Access (XAA), một giao thức mở, cho phép các tác tử AI hoạt động trong môi trường sandbox OpenShell kết nối an toàn với các ứng dụng doanh nghiệp.

Palo Alto Networks đã đóng góp các công cụ mã nguồn mở từ Idira, nền tảng bảo mật danh tính thế hệ mới của họ, bao gồm Agent Guard và Agent Watch. Các công cụ này giúp các nhà phát triển và người xây dựng tác tử áp dụng các phương pháp bảo mật danh tính tốt nhất và các biện pháp bảo vệ như truy xuất an toàn các bí mật cho các quy trình làm việc của tác tử.

Một dự án mã nguồn mở mới do Red Hat thành lập, asago, lấy các yêu cầu quản trị tùy chỉnh của một tổ chức — chẳng hạn như các yêu cầu được tham chiếu trong NIST, OWASP và Đạo luật AI của EU — và ánh xạ trực tiếp chúng vào những gì tác tử được phép thực hiện tại runtime, với một dấu vết kiểm toán duy nhất từ điều khoản chính sách đến kiểm soát thực tế.

Khung điều khiển và Công cụ — Cách thức điều phối công việc bảo mật

Tác tử AI không chỉ là một mô hình – chúng khai thác các hệ thống gồm các mô hình mở và đóng, khung điều khiển, công cụ và runtime để hoàn thành công việc.

Nếu mô hình là bộ não của tác tử, thì khung điều khiển (harness) là cơ thể thực hiện hành động bằng cách sử dụng các công cụ. Khung điều khiển bao quanh mô hình đóng vai trò như một bộ điều phối xác định cách các tác tử được triển khai, phối hợp và hạn chế.

Các thành viên liên minh đang đóng góp công cụ, khung điều khiển và các công nghệ hỗ trợ trên lớp mới nổi này của ngăn xếp bảo mật AI.

Amazon, hôm nay đã trở thành một trong những thành viên mới nhất của Open Secure AI Alliance, đóng góp Strands Agents, một bộ công cụ mã nguồn mở để xây dựng các tác tử AI mở ở mọi lớp, mang lại cho các nhà phát triển khả năng hiển thị đầy đủ về hành vi của tác tử và khả năng đánh giá các hệ thống tác tử trong môi trường thực tế. Amazon cũng đóng góp Cedar, một ngôn ngữ ủy quyền mã nguồn mở giúp thực thi các ranh giới xác định, có thể kiểm chứng về những gì tác tử AI được phép làm, cung cấp cho khách hàng các kiểm soát truy cập chi tiết, có thể phân tích để đảm bảo chỉ những hành động được ủy quyền mới tiếp cận được tài nguyên doanh nghiệp.

Capital One đã mở mã nguồn VulnHunter cho bảo mật mã nguồn AI tác tử.

Cloudflare đang cung cấp Vulnerability Discovery Harness của mình dưới dạng một kỹ năng mã nguồn mở để tăng cường bảo mật cho các hệ thống tác tử.

Microsoft AI Red Team đã mở mã nguồn một số công cụ và khung điều khiển. PyRIT – Python Risk Identification toolkit cho phép các đội ngũ red team AI thực hiện kiểm thử xâm nhập tự động, với bộ nhớ tích hợp, hỗ trợ các mục tiêu phổ biến cũng như các điểm cuối tùy chỉnh.

RAMPART biến các phát hiện từ red team và các sự cố thực tế thành các bài kiểm tra có thể lặp lại, chạy mỗi khi phần mềm thay đổi. Clarity giúp các đội ngũ đặt câu hỏi về các giả định thiết kế và xác định các lỗi tiềm ẩn trước khi mã được viết.

Microsoft cũng đã mở mã nguồn Assert, công cụ chuyển đổi các yêu cầu ngôn ngữ tự nhiên và các hành vi an toàn, bảo mật AI mong đợi thành các đánh giá có thể thực thi.

Atlas là công cụ nghiên cứu lỗ hổng tự động của Wiz, điều phối các tác tử AI chuyên biệt để khám phá và xác thực các lỗ hổng bảo mật trên mã nguồn và các gói mã nguồn mở.

Visa cũng đã gia nhập Open Secure AI Alliance, đóng góp Visa Vulnerability Agentic Harness mã nguồn mở của mình để giúp các đội ngũ xác định vấn đề, hỗ trợ khắc phục và xác thực một cách nhanh chóng và an toàn.

Các mô hình — Trí tuệ được xây dựng cho an toàn và phòng thủ AI

Không phải mọi tác vụ bảo mật hay an toàn đều cần đến một mô hình đa năng. Các mô hình bảo mật và an toàn chuyên biệt được xây dựng có mục đích cho việc phòng thủ: được huấn luyện để hiểu mã nguồn, xác định lỗ hổng và suy luận về các mối đe dọa trên quy mô lớn. Chúng có thể hoạt động để hỗ trợ các quy trình làm việc của tác tử như các hệ thống mô hình, với cả mô hình mở và đóng cùng phối hợp để hoàn thành công việc một cách hiệu quả.