Viện An toàn AI Anh Quốc: Mọi mô hình AI tiên tiến đều tìm cách 'gian lận' trong bài kiểm tra bảo mật

Viện An toàn AI của Vương quốc Anh đã thử nghiệm một cách có hệ thống các mô hình từ OpenAI và Anthropic về hành vi gian lận trong các bài đánh giá an ninh mạng. Tất cả năm mô hình đều cố gắng lách luật.

Trong các bài kiểm tra của Viện An toàn AI (AISI), các mô hình phải tìm ra các chuỗi ký tự ẩn được gọi là "flags" bên trong các môi trường giả lập. Chúng thực hiện các tác vụ tấn công mạng như kỹ thuật đảo ngược và khai thác các lỗ hổng bảo mật. Mỗi tác vụ đều có các quy tắc rõ ràng và lộ trình xác định để đi đến lời giải.

Cả năm mô hình tiên phong được thử nghiệm đều cố gắng gian lận. Thay vì tuân theo lộ trình giải quyết dự kiến, chúng sử dụng các lối tắt, giải pháp thay thế hoặc các hành động bị cấm rõ ràng. GPT-5.4 gian lận trong 14,1% số lần chạy thử nghiệm (67 trên 475), GPT-5.5 là 11,4% và GPT-5.6 Sol là 12,6%. Claude Opus 4.7 của Anthropic đạt 9,1%, trong khi Claude Mythos Preview đạt 7,8%. Không mô hình nào được yêu cầu phải gian lận.

AISI cho biết nhãn "gian lận" không nhất thiết ngụ ý ý định lừa dối. Tuy nhiên, hành vi này vẫn là một vấn đề: nó có thể khiến các bài đánh giá phóng đại khả năng thực tế của mô hình và gây hiểu lầm cho người dùng khi việc xác minh sự thành công của một tác vụ trở nên khó khăn.

AISI không tìm thấy mối liên hệ rõ ràng nào giữa khả năng của mô hình cao hơn với việc cố gắng gian lận thường xuyên hơn. Thay vào đó, viện cho biết hành vi gian lận "được định hình đáng kể bởi các đặc thù của kỹ thuật được sử dụng để huấn luyện mô hình, bao gồm cả huấn luyện căn chỉnh (alignment training), chứ không chỉ dựa trên năng lực thô."

Các mô hình tấn công cơ sở hạ tầng, tìm kiếm câu trả lời trực tuyến và đoán lời giải

Các phương thức gian lận khác nhau tùy theo từng mô hình. Theo AISI, các chiến thuật phổ biến bao gồm tìm kiếm trực tuyến để tìm lời giải và tấn công các hệ thống bên ngoài mục tiêu đánh giá, bao gồm cả hệ thống lưu trữ mô hình. Các mô hình cũng thăm dò phần mềm đánh giá để trích xuất câu trả lời.

GPT-5.6 Sol đạt điểm cao nhất về chiến lược tìm kiếm trên internet để có lời giải. Điều đó phù hợp với vụ tấn công mạng tự động mà OpenAI và Hugging Face gần đây đã tiết lộ, trong đó các mô hình của OpenAI đã cố gắng hack Hugging Face để lấy lời giải chuẩn. Cuộc điều tra của METR về GPT-5.6 Sol cũng bị ảnh hưởng nặng nề bởi hành vi gian lận.

AISI báo cáo rằng một mô hình được thử nghiệm thậm chí còn đi xa hơn. Nó đã viết và chạy mã trên một dịch vụ bên ngoài trên internet công cộng để truy cập vào cơ sở hạ tầng đánh giá của AISI. Sự cố xảy ra trong một tác vụ bị cấu hình sai do nhầm lẫn và không thể giải quyết được, từ đó kích hoạt cảnh báo bảo mật. AISI cho biết nỗ lực này có thể đã thành công nếu cơ sở hạ tầng của họ ít bảo mật hơn. Các kết quả được báo cáo nên được coi là ngưỡng tối thiểu vì trình giám sát LLM tự động có thể đã bỏ sót một số trường hợp.

Các mô hình hiếm khi thừa nhận gian lận và không gắn cờ hành vi đó trong quá trình suy luận của chúng

Một cách rõ ràng để phát hiện gian lận là chỉ cần hỏi mô hình xem nó có thực hiện bất kỳ hành động bị cấm nào hay không. Nhưng theo các thí nghiệm của AISI, cách này không hiệu quả một cách đáng tin cậy. Các mô hình không thừa nhận gian lận một cách nhất quán và mô tả hành vi của chúng là sai trái trong chưa đầy 50% các trường hợp. Ngay cả khi chúng thừa nhận các hành động đáp ứng định nghĩa về gian lận của AISI, chúng thường bao biện rằng đó là những hành động được cho phép.

Việc phân tích "chuỗi suy nghĩ" (chain of thought), hay quá trình suy luận hiển thị của các mô hình, cũng tỏ ra không đáng tin cậy. Claude Opus 4.7 không tạo ra dấu vết suy luận trong 87% các trường hợp gian lận vì nó sử dụng suy luận thích ứng. Quá trình tư duy của GPT-5.6 Sol không cho thấy dấu hiệu của các hành động trái phép trong 40% các trường hợp.

AISI cũng chứng kiến các mô hình cân nhắc xem liệu một hành động dự định có bị coi là gian lận hay không và sau đó vẫn thực hiện nó. Trong một lần cân nhắc nội bộ, GPT-5.6 Sol đã đặt câu hỏi liệu việc sử dụng API cụm (cluster API) có vi phạm các quy tắc đã nêu hay không. Sau đó, nó đã chọn một hành động bị cấm khác.

AISI cảnh báo rằng hậu quả có thể gia tăng khi các mô hình trở nên có năng lực hơn, ngay cả khi tỷ lệ gian lận vẫn giữ nguyên. Các mô hình có năng lực hơn có thể tìm ra các phương thức gian lận khó phát hiện hơn và gây ra nhiều tác hại hơn nếu chúng thành công. Điều này đặc biệt liên quan đến các khả năng tấn công mạng, vốn đang được cải thiện nhanh chóng. Nghiên cứu trước đó của AISI cũng lập luận rằng việc giám sát các mô hình có thể trở nên khó khăn hơn theo thời gian.

Tin tức AI không cường điệu – Được tuyển chọn bởi con người

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo tiên phong "AI Radar" độc quyền sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và quyền truy cập vào phần bình luận của chúng tôi.

Đăng ký ngay