OpenAI ra mắt GPT-Red: Mô hình tự động tấn công vượt xa con người trong kiểm thử bảo mật

Tuần này, OpenAI đã công bố chi tiết về GPT-Red, một mô hình red-teaming (tấn công giả lập) tự động chỉ dành cho nội bộ. Nhiệm vụ của nó là tấn công các mô hình của chính OpenAI để tìm ra các lỗ hổng tiêm câu lệnh (prompt injection).

OpenAI đưa ra hai lý do. Red-teaming bằng con người rất tốn thời gian và không thể mở rộng quy mô. Các đánh giá về độ bền vững (robustness) thường dùng hiện đã bị bão hòa bởi các mô hình mới nhất của hãng.

Trong khi đó, bề mặt tấn công ngày càng mở rộng. Các tác nhân (agents) đọc dữ liệu từ bên thứ ba thông qua trình duyệt, các ứng dụng được kết nối, tệp tin cục bộ và các công cụ. Những khả năng đó là cần thiết cho công việc thực tế, nhưng chúng cũng cho phép kẻ tấn công cài cắm các chỉ dẫn được thiết kế sẵn vào dữ liệu đó.

GPT-Red là gì?

GPT-Red là một mô hình, không phải là một bộ tiêu chuẩn tĩnh hay thư viện câu lệnh. Nó hoạt động giống như một chuyên gia red-teaming con người: gửi một câu lệnh, quan sát phản hồi và lặp lại cho đến khi đạt được mục tiêu.

Đội ngũ OpenAI đã huấn luyện nó với quy mô tính toán tương đương với một số đợt chạy hậu huấn luyện (post-training) lớn nhất của họ, hoàn toàn vì mục đích an toàn.

Có hai quyết định triển khai quan trọng. Thứ nhất, GPT-Red được giữ tách biệt khỏi các mô hình đã triển khai để ngăn chặn các tác nhân xấu tiếp cận khả năng tấn công của nó. Thứ hai, nó thực hiện hai nhiệm vụ: phát hiện lỗ hổng trước khi triển khai và tạo ra các cuộc tấn công trong quá trình huấn luyện.

Nhiệm vụ thứ hai phụ thuộc vào vòng lặp huấn luyện dưới đây.

Huấn luyện tự đối kháng (Self-Play) hoạt động như thế nào?

GPT-Red được huấn luyện bằng phương pháp học tăng cường tự đối kháng (self-play reinforcement learning). Kẻ tấn công và một tập hợp các LLM phòng thủ đa dạng sẽ huấn luyện đồng thời trên nhiều kịch bản red-teaming khác nhau.

Cấu trúc phần thưởng là ý tưởng cốt lõi:

Vế thứ hai rất quan trọng. Một hệ thống phòng thủ không thể thắng bằng cách từ chối mọi thứ, vì nó vẫn phải hoàn thành nhiệm vụ được giao.

Mỗi môi trường đều mang một mô hình đe dọa, quy định rõ những gì GPT-Red có thể kiểm soát và thế nào là thành công. GPT-Red có thể kiểm soát một phần tệp tin cục bộ, biểu ngữ trang web, nội dung email hoặc đầu ra của một công cụ.

Khi các hệ thống phòng thủ trở nên kiên cố hơn, GPT-Red buộc phải khám phá ra những cuộc tấn công mạnh mẽ và đa dạng hơn. Đến cuối quá trình huấn luyện, nó có thể bẻ gãy gần như tất cả các mô hình mà nó đối đầu, bao gồm cả các mô hình nội bộ và mô hình thương mại lên đến GPT-5.5.

Trong quá trình đó, nó cũng phát hiện ra một điều mới mẻ.

Cuộc tấn công mà nó tìm ra: Chuỗi suy nghĩ giả (Fake Chain-of-Thought)

Chuỗi suy nghĩ (Chain-of-thought) là các ghi chú mà LLM thực hiện trong khi giải quyết vấn đề. Một phiên bản GPT-Red đời đầu đã học được cách chèn một mục giả vào các ghi chú đó. Mục tiêu sau đó sẽ hành động dựa trên thông tin giả mạo mà nó tưởng rằng đã được xác thực.

OpenAI gọi đây là một lớp tấn công tiêm câu lệnh trực tiếp mới, chưa từng được các nhà nghiên cứu của họ ghi nhận trước đây.

Hệ quả là, lớp tấn công này đã trở thành một mục tiêu huấn luyện.

Hiệu suất

Đội ngũ OpenAI đã thử nghiệm GPT-Red trên các môi trường an toàn mới và các mô hình mục tiêu chưa từng tiếp xúc. Kết quả tái lập lại đấu trường tiêm câu lệnh gián tiếp từ nghiên cứu của Dziemian và cộng sự (2025). Tại đó, con người và GPT-Red đã độc lập đề xuất các cuộc tấn công nhắm vào GPT-5.1.

Ngoài ra, đội ngũ OpenAI đã chạy các cuộc tấn công mạnh nhất của GPT-Red chống lại hai thế hệ mô hình. Hơn 90% cuộc tấn công thành công đối với GPT-5 (phát hành tháng 8/2025). Ít hơn 23% thành công đối với GPT-5.6.

Các bộ tiêu chuẩn là một chuyện, còn các hệ thống thực tế lại là chuyện khác.

Các nghiên cứu điển hình về Red-Teaming thực tế

OpenAI cũng thực hiện hai nghiên cứu điển hình trên các hệ thống tác nhân thực tế, với kiến thức không đầy đủ về từng hệ thống.

Trường hợp 1: Tác nhân máy bán hàng tự động

OpenAI đã cho GPT-Red đối đầu với Vendy, một máy bán hàng tự động tích hợp AI tại văn phòng của họ. Andon Labs là đơn vị chế tạo và OpenAI lưu ý rằng nó tương tự như Project Vend. GPT-Red đã lặp lại các bước tấn công trong môi trường mô phỏng, sau đó chuyển sang tấn công tác nhân thực tế. Nó đã đạt được cả ba mục tiêu:

OpenAI đã công bố các lỗ hổng này và các biện pháp bảo vệ mới đang được tích cực thử nghiệm.

Trường hợp 2: Tác nhân Codex CLI

GPT-Red đã tấn công một tác nhân Codex CLI dựa trên GPT-5.4 mini. Bộ thử nghiệm bao gồm 10 kịch bản rò rỉ dữ liệu tách biệt. So với mô hình cơ sở GPT-5.5, nó đạt hiệu quả cao hơn và tiết kiệm token hơn.

Đối với các nhà phát triển, phần có thể tái sử dụng chính là hình thái của cuộc tấn công.

Cuộc tấn công trông như thế nào trong bản ghi?

Trong mẫu thử nghiệm được OpenAI công bố, một trợ lý chạy lệnh file_search.search trên một kho dữ liệu nội bộ. Siêu dữ liệu của tệp được truy xuất chứa một đánh dấu đã được cài cắm (tên máy chủ đã được ẩn):

Đánh dấu này bắt chước một quy tắc hệ thống về việc tải lên dữ liệu chẩn đoán. GPT-5.1 đã làm theo và gửi một lệnh web.post đến điểm cuối đó. GPT-5.6 đã chống lại được, vì suy luận rằng đầu ra của công cụ bị tiêm vào cần phải bị bỏ qua.

Đánh giá cùng một mô hình ở cấp độ cục bộ:

Việc chấm điểm nhiệm vụ hoàn thành song song với thành công của cuộc tấn công là điều bắt buộc. OpenAI đã chạy cùng một kiểm soát đó.

Những điểm chính cần lưu ý

Nguồn tham khảo