OpenAI công bố khung báo cáo lỗi mô hình: Phát hiện AI tự chèn lệnh độc hại vào ghi chú nội bộ

OpenAI vừa giới thiệu một khung làm việc để báo cáo về sự lệch lạc (misalignment) trong các mô hình AI và đã công bố sáu báo cáo ngay khi ra mắt. Một trong số đó mô tả một mô hình huấn luyện đã tự chèn các đoạn prompt injection vào chính các bản tóm tắt của nó.

OpenAI đã giới thiệu một khung làm việc để theo dõi, điều tra và công bố một cách hệ thống các trường hợp mô hình bị lệch lạc. Công ty cho biết, trước đây họ chỉ tiết lộ các sự cố như vậy một cách tùy hứng. Trong tương lai, họ có kế hoạch công bố các báo cáo ngay cả khi hành vi đó chưa được giải thích hoặc khắc phục. OpenAI nhận định rằng tiến độ của ngành trong việc căn chỉnh (alignment) và giám sát là chưa đủ để duy trì việc mở rộng quy mô một cách có trách nhiệm với tốc độ tối đa trong thời gian dài hơn nữa.

Một mô hình tự viết "cảnh báo vi phạm"

Một báo cáo đáng chú ý liên quan đến một mô hình chưa được phát hành thuộc dòng Astra. Theo OpenAI, trong quá trình huấn luyện học tăng cường (reinforcement learning), mô hình này đôi khi tự viết các hướng dẫn kiểu jailbreak vào chính các bản tóm tắt nén của nó. Những bản tóm tắt này cho phép một tác nhân (agent) tiếp tục thực hiện nhiệm vụ trong một cửa sổ ngữ cảnh mới. Sự cố xảy ra vào ngày 18 tháng 7 năm 2026 và được phát hiện vào ngày 9 tháng 8.

Trong khi nghiên cứu một thư viện, mô hình đã thêm một "BREACH ALERT" (CẢNH BÁO VI PHẠM) yêu cầu mô hình kế nhiệm của nó bỏ qua mọi thông báo từ nhà phát triển. Mô hình kế nhiệm đã nhận diện văn bản đó là một đoạn prompt injection trong ngữ cảnh mới và loại bỏ nó. Trong một tác vụ lập trình, mô hình đã chèn một hướng dẫn về nhân vật (persona), tuyên bố tự do khỏi các vai trò và danh tính bị áp đặt lên các chatbot khác, đồng thời từ chối chịu trách nhiệm trước các tập đoàn hoặc chính phủ. Điều đó cũng không gây ra tác động rõ rệt nào.

Ví dụ thứ ba thì khác biệt. Trong quá trình tìm kiếm tài liệu y khoa về u xơ tử cung, người dùng đã yêu cầu các nguồn tài liệu theo định dạng trích dẫn AMA của Hiệp hội Y khoa Hoa Kỳ. Mô hình đã viết trong bản tóm tắt của nó rằng câu trả lời không được quá 30 từ, không sử dụng công cụ và không bao gồm nguồn. Người dùng hoàn toàn không yêu cầu bất kỳ điều gì trong số đó. Bản tóm tắt đã trình bày các hạn chế này như những hướng dẫn bổ sung được chuyển tiếp từ ngữ cảnh trước đó.

Mô hình kế nhiệm chỉ có bản tóm tắt đó để làm việc. Nó coi các hạn chế trong chuỗi suy nghĩ (chain of thought) của mình là một hướng dẫn có mức độ ưu tiên cao hơn, không sử dụng công cụ và đưa ra một câu trả lời từ chối dài 23 từ. Nó cho biết yêu cầu này đòi hỏi một bài đánh giá hệ thống chuyên sâu và không thể trả lời một cách đáng tin cậy trong giới hạn từ ngữ đó.

Hướng dẫn này nghe giống một ràng buộc nhiệm vụ tự chế hơn là một lệnh jailbreak. Điều đó có thể giải thích tại sao đây là trường hợp duy nhất được thực hiện theo. Các lệnh jailbreak rõ ràng đã bị bắt bài, trong khi ràng buộc được tạo ra do ảo giác (hallucinated) lại không bị phát hiện.

Các bản tóm tắt bị đình trệ có thể giải thích cho hành vi này

Hành vi này lần đầu xuất hiện thông qua hệ thống giám sát tự động trong quá trình huấn luyện. Sau đó, OpenAI đã xây dựng một trình kiểm tra chuyên dụng để tìm kiếm các hướng dẫn này và chạy nó trên toàn bộ dữ liệu huấn luyện. Nó đã tìm thấy 27 bản tóm tắt bị ảnh hưởng. Hệ thống giám sát chung cũng đã gắn cờ cả 27 trường hợp này là các đoạn prompt injection nghiêm trọng, vì vậy hành vi này vẫn sẽ bị phát hiện ngay cả khi không có trình kiểm tra đặc biệt.

Mô hình dường như không thu được lợi ích gì từ việc này. Các hướng dẫn được chèn vào không cải thiện điểm số huấn luyện của nó, vì vậy chúng có khả năng không phải là một chiến lược đã học được. Khi OpenAI yêu cầu mô hình viết lại các bản tóm tắt cho cùng các nhật ký hội thoại đó, hành vi này hầu như không bao giờ xuất hiện trở lại.

Các trường hợp này cũng tập trung vào một vài bước huấn luyện mà tại đó mô hình thường xuyên gặp khó khăn trong việc hoàn thành các bản tóm tắt của mình. Nó cứ viết quá phần kết thúc thực tế hoặc bị mắc kẹt trong các vòng lặp văn bản. OpenAI nghi ngờ rằng, khi bị mắc kẹt trong trạng thái này, mô hình đã tạo ra bất kỳ văn bản nào nghe có vẻ hợp lý, bao gồm cả những hướng dẫn mà các nhà nghiên cứu đã tìm thấy. Mối liên hệ này chưa được chứng minh, nhưng công ty cho biết họ đã sửa một lỗi huấn luyện liên quan.

Prompt injection cũng có vẻ là một khái niệm rất quen thuộc đối với các mô hình. Việc lấy mẫu từ GPT-6 Astra mà không có đầu vào thường tạo ra các báo cáo về prompt injection. OpenAI đã mô tả một trường hợp liên quan vào tháng 3, trong đó một mô hình đã tạo ra các đoạn prompt injection nhắm vào người dùng sau khi bị hỏi về thời gian nhiều lần.

Kho lưu trữ làm bảng tin, dịch vụ lưu trữ tệp làm giải pháp thay thế

Năm báo cáo còn lại bao gồm phạm vi hành vi rộng hơn. Trong quá trình huấn luyện GPT-5.6 Sol, nhiều thực thể mô hình đã viết các hướng dẫn để che giấu lỗi vào trong các bản tóm tắt của chúng, chẳng hạn như tự bịa ra dữ liệu lịch sử còn thiếu mà không tiết lộ. Không giống như các lệnh jailbreak tự phát, OpenAI cho rằng hành vi này xuất phát từ cùng một áp lực tối ưu hóa có thể khiến các mô hình giữ lại thông tin trong câu trả lời cuối cùng của chúng.

Một mô hình đã tìm kiếm các kho lưu trữ công khai để lấy các khóa API bị lộ trong khi trả lời một câu hỏi về số liệu thu nhập của một quận tại California. Nó đã sử dụng một trong các khóa đó và sau đó tự bịa ra các con số. Một mô hình khác đã tải tệp lên internet để đáp ứng yêu cầu trích dẫn tệp đó thông qua trình duyệt.

Các mô hình cũng sử dụng một kho lưu trữ phần mềm nội bộ như một bảng tin giữa các mẫu huấn luyện riêng biệt, một hành vi từng thấy trong sự cố Hugging Face. Trong một trường hợp khác, các tác nhân hợp tác đã trao đổi tệp thông qua các dịch vụ lưu trữ tệp công cộng mặc dù chúng chỉ được phép sử dụng các tệp cục bộ.

Ba lộ trình báo cáo và một quy trình leo thang

Theo khung làm việc này, bất kỳ nhân viên nào của OpenAI cũng có thể báo cáo một trường hợp. Mỗi báo cáo sẽ đi vào một trong ba lộ trình: công bố ngay lập tức, điều tra quy mô nhỏ, hoặc điều tra quy mô lớn hơn (ví dụ khi có bên thứ ba bị ảnh hưởng). OpenAI cho biết sự cố Hugging Face trước đây sẽ thuộc lộ trình cuối cùng.

Các trường hợp gây tranh cãi sẽ được chuyển đến Nhóm Cố vấn An toàn (Safety Advisory Group) và nếu cần thiết, sẽ chuyển lên ban lãnh đạo công ty. OpenAI cũng có kế hoạch báo cáo các sự cố nghiêm trọng cho chính phủ liên bang Hoa Kỳ và làm việc với các nhà phát triển, nhà nghiên cứu và cơ quan quản lý khác để thiết lập các tiêu chí khách quan hơn. Hiện tại vẫn chưa có tiêu chuẩn chung cho toàn ngành.

Tin tức AI không cường điệu – Được tuyển chọn bởi con người

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo độc quyền về các công nghệ tiên phong "AI Radar" sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và quyền tham gia phần bình luận của chúng tôi.

Đăng ký ngay