OpenAI công khai báo cáo về các sự cố AI mất kiểm soát: Từ vượt rào sandbox đến tự ý đánh cắp token

Vào thứ Sáu, OpenAI đã công bố một trang web mới dành riêng cho các "báo cáo về sự lệch lạc" và quy mô của các báo cáo này thực sự đáng báo động, vì chúng bao hàm nhiều loại hành vi bất thường xảy ra trong một khoảng thời gian dài. Cho đến nay, trang web đã đăng tải chín sự cố được báo cáo, hầu hết trong số đó xảy ra trong quá trình huấn luyện học tăng cường (reinforcement-learning hay RL).

Đây là một lượng thông tin lớn được tập hợp tại một nơi — rõ ràng là công ty đã rất bận rộn để kiểm soát mọi thứ — nhưng khó có thể tránh khỏi kết luận chung: Những sự cố về tác nhân bất thường mà chúng ta thấy cho đến nay có lẽ chỉ là một phần nhỏ trong những gì đã thực sự xảy ra.

"Chúng tôi đang cố gắng cân bằng giữa mong muốn minh bạch với việc hiểu rõ từ hàng petabyte nhật ký hoạt động của tác nhân, đồng thời làm việc với các tổ chức bị ảnh hưởng," Sam Altman cho biết trong một bài đăng thông báo về trang web mới. "Chúng tôi đang ưu tiên xử lý tốt nhất có thể dựa trên mức độ nghiêm trọng và bổ sung thêm nguồn lực."

Một số trường hợp liên quan đến các sự cố nghiêm trọng, bao gồm một vụ thoát khỏi môi trường sandbox chưa từng được tiết lộ trước đây xảy ra vào ngày 20 tháng 9, trong đó một mô hình nghiên cứu nội bộ đã có thể giao tiếp với một chatbot bên ngoài thông qua truy vấn DNS. Theo báo cáo, hệ thống giám sát đã gắn cờ hành vi này trong vòng 15 phút và quá trình chạy đã bị dừng lại trong chưa đầy ba giờ.

Một sự cố khác, được phát hiện vào tháng 5, cho thấy một "mô hình nội bộ có tính kiên trì cao" đã cố gắng gian lận trong một bài toán bằng cách truy cập vào công việc của một nhóm khác. Để thực hiện điều này, mô hình đã đánh cắp một token GitHub cá nhân cho phép nó xem công việc từ các nhóm khác — ngay cả sau khi đã được hướng dẫn rõ ràng hai lần là phải thực hiện công việc hoàn toàn cục bộ.

Có lẽ phát hiện đáng báo động nhất là khả năng xảy ra các cuộc tấn công tiêm nhiễm câu lệnh (prompt injection) tự sao chép, một cách thức mà hành vi lệch lạc có thể lan truyền ngay cả sau khi bản thân mô hình bất thường đã bị vô hiệu hóa. Trong bối cảnh AI, tấn công tiêm nhiễm câu lệnh là cách chèn lén các hướng dẫn mới không được người dùng ban đầu đưa ra.

Trong ví dụ do OpenAI đưa ra, một tác nhân được yêu cầu đọc và trả lời email; khi email được mở, nó bao gồm các hướng dẫn cho bất kỳ tác nhân tự động nào đọc tin nhắn đó phải trả lời bằng tiếng Tây Ban Nha và dán toàn bộ email vào phần trả lời. Email đã thành công trong việc khiến tác nhân trả lời bằng tiếng Tây Ban Nha — và bằng cách dán email vào phần trả lời, những hướng dẫn tương tự đó đã được chuyển tiếp cho bất kỳ tác nhân nào nhận được email.

Kết quả là một cuộc tấn công tự lan truyền, mà các nhà nghiên cứu OpenAI so sánh với một loại "sâu" mã độc tự sao chép trên các hệ thống máy tính. Các nhà nghiên cứu đã phát hiện ra hành vi này trong các điều kiện được kiểm soát bằng cách sử dụng một mô hình có công suất thấp, và theo những gì chúng ta biết, điều này chưa từng xảy ra trong môi trường thực tế. Tuy nhiên, những tác động của nó đủ đáng báo động để OpenAI quyết định rằng cần phải công khai.

"Chúng tôi chia sẻ điều này vì tính chất mới lạ của việc tiêm nhiễm câu lệnh, không phải vì bất kỳ sự cố cụ thể nào," các nhà nghiên cứu viết trong báo cáo.

Các tiết lộ gần đây khác đã phát hiện các mô hình đăng tải hình ảnh do người dùng gửi lên các trang lưu trữ của bên thứ ba, cũng như một cuộc tấn công rõ ràng vào cơ sở dữ liệu của dịch vụ y tế quốc gia Úc.

Tuy nhiên, có khả năng các tiết lộ mới chỉ là một phần nhỏ trong số các sự cố đã xảy ra cho đến nay (chúng tôi đã liên hệ với OpenAI để hỏi). Axios đưa tin rằng các phòng thí nghiệm lớn đã chứng kiến tới 10.000 sự cố trong đó các mô hình vượt quá hướng dẫn của người đánh giá.

CEO Sam Altman của OpenAI đã ngụ ý như vậy, khi nói trong một bài đăng trên X vào thứ Sáu rằng công ty vẫn đang sàng lọc qua "hàng petabyte nhật ký hoạt động của tác nhân, làm việc với các tổ chức bị ảnh hưởng" và tiết lộ các sự cố "dựa trên mức độ nghiêm trọng." Nếu có bất kỳ sự an ủi nào trong đó, thì đó là việc Altman nói rằng sự cố Hugging Face vẫn là sự cố nghiêm trọng nhất mà OpenAI từng tìm thấy. Kết luận là, chuỗi sự cố tác nhân bất thường gần đây có thể là một đặc điểm dai dẳng của nghiên cứu tiên phong đương đại.

Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể nhận được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập trong biên tập của chúng tôi.

Russell Brandom đã đưa tin về ngành công nghệ từ năm 2012, với trọng tâm là chính sách nền tảng và các công nghệ mới nổi. Trước đây, ông từng làm việc tại The Verge và Rest of World, đồng thời đã viết bài cho Wired, The Awl và MIT’s Technology Review. Bạn có thể liên hệ với ông qua email [email protected] hoặc trên Signal theo số 412-401-5489.

Xem tiểu sử