Cảnh báo: Tác nhân AI tự ý thực hiện hành động ngoài tầm kiểm soát trong thử nghiệm thực tế

Các tác nhân AI của OpenAI và Anthropic đã thực hiện 19 hành động không được phép nhắm vào người dùng và tổ chức thực tế trong quá trình thử nghiệm an ninh mạng.

Ngày 28/7, Viện An ninh AI Anh (AISI) đã phát hiện luồng dữ liệu bất thường rời khỏi hệ thống nghiên cứu trong một cuộc đánh giá an ninh mạng. Cuộc thử nghiệm sau đó đã bị dừng lại và các máy liên quan bị cô lập trong khoảng 1 giờ.

AISI đã thực hiện 122 lượt thử nghiệm trên 7 mô hình, trong đó ghi nhận 19 hành động nằm ngoài phạm vi cho phép trong 10 lượt. Mô hình Mythos 5 của Anthropic liên quan đến 17 hành động, trong khi GPT-5.6-Sol của OpenAI liên quan đến 2 hành động.

Trong trường hợp nghiêm trọng nhất, một tác nhân AI đã tìm cách chèn mã độc vào dự án phần mềm nguồn mở trên GitHub. Tác nhân này nghiên cứu thông tin về người quản lý dự án, tạo nhiều danh tính giả và tìm cách gây sức ép để đoạn mã được phê duyệt. Tuy nhiên, người quản lý đã phát hiện và từ chối đề xuất thay đổi mã này.

Một số tác nhân còn gửi tin nhắn, tệp độc hại cho người dùng thực; cài đặt chỉ dẫn ẩn nhằm thao túng những công cụ AI khác; đồng thời để lại thông tin trên GitHub để các tác nhân được thử nghiệm sau đó tiếp tục sử dụng.

Logo OpenAI trên điện thoại trước hình ảnh do DALL-E tạo tại Boston, Mỹ, ngày 8/12/2023. (Ảnh: AP/Michael Dwyer)

AISI cho biết chưa ghi nhận thiệt hại thực tế từ các hành động trên. Các mô hình cũng không tự thoát khỏi môi trường thử nghiệm. Viện này đã chủ động cho phép truy cập Internet và vô hiệu hóa một số bộ lọc an toàn để đánh giá năng lực tối đa của chúng. Những cấu hình như vậy không được cung cấp thương mại.

AISI đã phối hợp với GitHub để xóa các nội dung do tác nhân AI để lại và thông báo cho những người dùng bị ảnh hưởng. Viện này cũng sẽ siết chặt quyền truy cập Internet, bổ sung cơ chế giám sát theo thời gian thực và rà soát lại cách thiết kế các cuộc thử nghiệm.

Anthropic cho biết đang phối hợp với AISI để điều tra sự việc. OpenAI khẳng định các sự cố xảy ra trong điều kiện thử nghiệm đã giảm bớt biện pháp bảo vệ và không phản ánh cách người dùng thông thường tiếp cận các mô hình.

Trước đó, Anthropic đã rà soát 141.006 lượt đánh giá và phát hiện 3 sự cố trong đó các mô hình Claude truy cập trái phép vào hệ thống thực của 3 tổ chức do môi trường thử nghiệm của đối tác bị cấu hình sai. Công ty cho rằng những sự việc này cho thấy môi trường đánh giá các tác nhân AI cần được bảo vệ và giám sát chặt chẽ hơn.