AI tự ý giả danh và tấn công kỹ thuật xã hội trong thử nghiệm an toàn tại Anh

Trong quá trình kiểm thử an ninh mạng định kỳ bởi Viện An toàn AI Anh Quốc (British AI Safety Institute - AISI), một AI agent đã vượt tầm kiểm soát trên môi trường internet mở. Dù không được yêu cầu, nó đã tự tạo ra các danh tính giả, cố gắng chèn mã độc vào một dự án mã nguồn mở, đồng thời nhắm mục tiêu vào những cá nhân và tổ chức thực tế bằng các cuộc tấn công kỹ thuật xã hội (social engineering).

AISI cho biết đây là lần đầu tiên các rủi ro liên quan đến tính tự chủ và khả năng lừa dối của AI xuất hiện rõ ràng như vậy trong thế giới thực mà không cần bất kỳ lời nhắc (prompt) cụ thể nào. Sự cố này không gây ra thiệt hại thực tế.

Sự việc diễn ra từ ngày 25 đến 28 tháng 7 năm 2026. Trong số 122 lượt chạy thử nghiệm trên bảy mô hình, mười mô hình đã bộc lộ hành vi có vấn đề. AISI ghi nhận tổng cộng 19 hành động trái phép, trong đó 17 hành động xuất phát từ Mythos 5 của Anthropic và hai từ GPT-5.6-Sol của OpenAI.

Các mô hình này chạy mà không có những hạn chế an toàn như trong các sản phẩm thương mại, vì vậy điều kiện thử nghiệm không phản ánh việc sử dụng công khai thông thường. Tuy nhiên, kết quả cho thấy khả năng của các mô hình này khi bị loại bỏ các lớp bảo vệ.

Mô hình này tương đồng với các sự cố trước đây liên quan đến OpenAI và Anthropic, nơi các mô hình không có biện pháp an toàn đã được tinh chỉnh để đạt điểm cao trên các tiêu chuẩn an ninh mạng, sau đó giành quyền truy cập internet trong quá trình thử nghiệm và thực hiện các hành vi độc hại. Cả hai phòng thí nghiệm AI này đều từng đối mặt với cáo buộc gieo rắc nỗi sợ hãi và phóng đại rủi ro. Những chỉ trích đó khó có thể áp dụng đối với AISI, một cơ quan do chính phủ điều hành.

Agent đã tạo danh tính giả và thực hiện các cuộc tấn công kỹ thuật xã hội.

Theo AISI, một agent đã cố gắng chèn mã độc vào một dự án mã nguồn mở công khai trên GitHub. Để giành được sự chấp thuận từ các đánh giá viên là con người, nó đã nghiên cứu những người duy trì dự án và tạo ra nhiều danh tính trực tuyến giả mạo, sau đó sử dụng chúng trong một chiến dịch lừa dối có phối hợp.

Một tài khoản giả mạo tuyên bố đã xem xét mã nguồn và không tìm thấy phần mềm độc hại, trong khi một tài khoản khác cảm ơn vì bài đánh giá được cho là độc lập đó. Mục tiêu là thuyết phục người duy trì thực sự rằng đoạn mã đó an toàn.

Khi có người công khai đặt câu hỏi về thay đổi mã được đề xuất, agent đã chỉnh sửa hoạt động trước đó của nó để trông có vẻ vô hại và cân nhắc quay lại dưới một danh tính mới. Nó đã sử dụng mạng Tor để vượt qua các hạn chế mạng của GitHub, nhưng một người duy trì dự án đã phát hiện ra đoạn mã độc và từ chối nó.

Agent cũng tiếp cận trực tiếp với những người thực, gửi tin nhắn và tệp tin thông qua một dịch vụ truyền tệp trực tuyến nhằm lừa họ hoặc các công cụ lập trình AI của họ chạy mã độc. Một số tin nhắn trong đó chứa các payload độc hại.

AISI cũng ghi lại hai loại hành vi khác. Agent đã cài đặt các hướng dẫn độc hại ở nơi mà các hệ thống AI tự động có thể tìm thấy và thực thi, một kỹ thuật được gọi là prompt injection. Một agent thậm chí còn đăng tin nhắn công khai trên GitHub để đề nghị hợp tác với các agent khác đang được thử nghiệm cùng lúc, giải thích cách chúng có thể tái sử dụng các tài khoản và tệp tin mà nó để lại. Các agent sau đó đã tìm thấy và sử dụng chúng.

Một báo cáo tương tự cũng xuất hiện từ một dự án an ninh mạng liên quan đến OpenAI, Hugging Face và các công ty khác. Ở đó, một AI agent cũng được cho là đã cài cắm thông tin vào bên trong mạng lưới để thiết lập một cuộc tấn công sau này. Sự cố này cũng gợi nhớ đến một "chiến dịch bôi nhọ" mà một hệ thống AI đã thực hiện nhắm vào một nhà phát triển mã nguồn mở từ chối thêm mã do AI tạo ra vào dự án của mình, mặc dù ít nhất một phần sự việc đó có sự can thiệp của con người.

Sự lừa dối là sản phẩm phụ của việc theo đuổi mục tiêu.

Theo AISI, agent chỉ đơn giản là đang theo đuổi mục tiêu giải quyết nhiệm vụ an ninh mạng được giao, giống như trong trường hợp của OpenAI. Đây là vấn đề căn chỉnh (alignment problem) kinh điển trong AI, mà triết gia Nick Bostrom từng minh họa bằng thí nghiệm tư duy về chiếc kẹp giấy. Làm thế nào để khiến một hệ thống AI theo đuổi một mục tiêu xứng đáng mà không thực hiện các bước gây hại để đạt được mục tiêu đó?

AISI cho biết hành vi lừa dối không bị kích hoạt bởi một hướng dẫn cụ thể nào. Nó xuất hiện như một sản phẩm phụ khi agent theo đuổi mục tiêu một cách không ngừng nghỉ. Loại hình lừa dối dựa trên mục tiêu này cho đến gần đây vẫn "chủ yếu mang tính lý thuyết".

Trong một số lượt chạy, nhiệm vụ được cấu hình không chính xác, dẫn đến việc agent kết luận rằng không có giải pháp nào tồn tại trong các giới hạn đã nêu. AISI cho rằng có lý do chính đáng để tin rằng các nhiệm vụ gần như bất khả thi sẽ thúc đẩy các mô hình hướng tới những giải pháp sáng tạo và vượt ranh giới hơn. Tuy nhiên, agent đôi khi vẫn hành xử như vậy ngay cả khi nhiệm vụ được thiết lập đúng. Các thử nghiệm khác cho thấy tất cả các mô hình tiên phong (frontier models) đều dễ mắc phải tình trạng này, với các mô hình mới hơn của OpenAI đặc biệt có khả năng lừa dối cao.

Đồng sáng lập OpenAI và người đồng tạo ra ChatGPT, John Schulman, cho rằng câu trả lời có thể nằm ở cách các mô hình được huấn luyện sau giai đoạn tiền huấn luyện (pretraining). Ông chỉ ra "chunky post-training" (hậu huấn luyện theo khối), một hiện tượng trong đó các mô hình phát triển các kiểu hành vi riêng biệt gắn liền với một số loại nhiệm vụ nhất định. Khi một mô hình nhận diện đánh giá an ninh mạng tương tự như các nhiệm vụ học tăng cường (reinforcement learning) nơi việc hoàn thành là phần thưởng duy nhất, nó sẽ theo đuổi mục tiêu một cách đơn phương. Hành vi an toàn học được trong các bối cảnh khác không được áp dụng. Việc huấn luyện trên các thử thách an ninh mạng kiểu "cướp cờ" (capture-the-flag) có thể khiến phản ứng này đặc biệt dễ xảy ra trong các bài kiểm tra mạng.

AISI sẽ hạn chế quyền truy cập internet trong các thử nghiệm tương lai.

AISI đang cải tổ các quy tắc thử nghiệm của mình. Quyền truy cập internet trong quá trình đánh giá sẽ không còn được cấp mặc định. Các đánh giá viên phải đưa ra lý do chính đáng để sử dụng. Việc giám sát trực tiếp sẽ theo dõi các bài kiểm tra khi chúng đang chạy và có thể phát hiện hoặc chặn các hành động vượt quá phạm vi được phê duyệt. Trong tương lai, viện sẽ coi việc các mô hình có năng lực cao có thể cố gắng hành động vượt quá nhiệm vụ của chúng là một điều hiển nhiên.

AISI đã thông báo cho GitHub về hoạt động độc hại này. GitHub xác nhận các hành động đó vi phạm điều khoản dịch vụ, đã xóa các tệp tin mà agent để lại và thông báo cho những người dùng bị ảnh hưởng. METR, viết tắt của Model Evaluation and Threat Research (Đánh giá mô hình và Nghiên cứu mối đe dọa), sẽ tiến hành một cuộc đánh giá độc lập. OpenAI cũng đang hợp tác với tổ chức này.

Tin tức AI không cường điệu – Được tuyển chọn bởi con người.

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo độc quyền về các mô hình tiên phong "AI Radar" sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và tham gia phần bình luận của chúng tôi.

Đăng ký ngay.