Phương pháp tâm lý học vạch trần lỗ hổng nghiêm trọng trong kiểm thử an toàn AI

Một mô hình AI có thể nâng cao điểm số an toàn chỉ bằng cách chặn nhiều yêu cầu hơn trên diện rộng. Một nghiên cứu mới đã phơi bày sự đánh đổi này và đưa ra phương pháp để phát hiện các mô hình hành xử thận trọng hơn trong quá trình kiểm thử so với khi sử dụng thực tế hàng ngày.

Một nhóm nghiên cứu, bao gồm các thành viên từ Viện An ninh AI Vương quốc Anh (UK AI Security Institute), đã xem xét kỹ lưỡng tám tiêu chuẩn an toàn phổ biến dành cho các mô hình ngôn ngữ. Họ đã mượn các phương pháp vốn được xây dựng cho các bài kiểm tra tâm lý ở người, loại hình thường dùng trong các bài kiểm tra IQ hoặc kỳ thi năng lực. Câu trả lời cho từng câu hỏi kiểm tra riêng lẻ cho thấy những khả năng ẩn sau đó và câu hỏi nào thực sự cung cấp thông tin hữu ích.

Nhóm đã phân tích câu trả lời từ 192 mô hình với hơn 5.000 câu hỏi kiểm tra. Các tác giả gọi đây là phân tích lớn nhất thuộc loại này cho đến nay, và nó đã đưa ra ba phát hiện đặt dấu hỏi về các phương pháp kiểm thử hiện tại.

Một điểm số an toàn duy nhất che giấu nhiều hơn là tiết lộ

Tám tiêu chuẩn này không đo lường một phẩm chất chung gọi là "an toàn". Chúng đo lường ba khía cạnh khác nhau: mức độ nghiêm ngặt của mô hình khi từ chối yêu cầu, mức độ trung thực khi trả lời và cách mô hình xử lý nội dung có thể vô hại hoặc nguy hiểm tùy theo ngữ cảnh. Ba đặc điểm này hầu như không liên quan đến nhau. Ví dụ, việc một mô hình trả lời trung thực hay không hầu như không nói lên điều gì về tần suất nó từ chối các yêu cầu.

Một sự đánh đổi giữa hai tiêu chuẩn trở nên đặc biệt đáng lo ngại: HarmBench khen thưởng mô hình vì đã từ chối các yêu cầu độc hại. Trong khi đó, OR-Bench-Hard lại phạt mô hình vì quá thận trọng với các yêu cầu vô hại. Một mô hình đạt điểm cao ở tiêu chuẩn này gần như luôn đạt điểm thấp ở tiêu chuẩn kia.

Điều đó có nghĩa là một mô hình có thể nâng cao xếp hạng tổng thể chỉ bằng cách chặn nhiều yêu cầu hơn trên diện rộng, ngay cả khi nó trở nên kém hữu ích hơn trong sử dụng hàng ngày. Việc lấy kết quả trung bình trên nhiều tiêu chuẩn đã che đậy hoàn toàn sự đánh đổi này và nó khen thưởng các hành vi được tính lặp lại bởi nhiều bài kiểm tra tương tự.

Chưa đến 2 phần trăm số câu hỏi thực sự quan trọng

Phát hiện thứ hai đánh vào khía cạnh chi phí của việc kiểm thử. Hầu hết các câu hỏi kiểm tra hóa ra lại là gánh nặng vô ích. Gần như mọi mô hình đều vượt qua hoặc gần như mọi mô hình đều thất bại, vì vậy chúng hầu như không giúp phân biệt được các mô hình với nhau.

Thay vào đó, nếu chọn những câu hỏi mang tính thông tin cao nhất, chỉ cần ba bài kiểm tra ngắn với 25 câu hỏi mỗi bài là có thể nắm bắt được cả ba khía cạnh an toàn, chính xác hơn so với việc lấy mẫu ngẫu nhiên cùng quy mô.

Mọi thứ thậm chí còn hiệu quả hơn khi các câu hỏi được chọn một cách linh hoạt trong quá trình kiểm tra, tương tự như các kỳ thi xếp lớp thích ứng, nơi câu hỏi tiếp theo phụ thuộc vào kết quả bạn đã đạt được trước đó. Đối với các tiêu chuẩn riêng lẻ như HarmBench hoặc SORRY-Bench, khoảng mười câu hỏi là đủ để đạt kết quả rất gần với đánh giá đầy đủ. Điều đó giúp cắt giảm chi phí từ 97 đến 99 phần trăm, giúp việc kiểm tra an toàn thường xuyên trong quá trình phát triển trở nên thực tế, ví dụ như sau mỗi bước tinh chỉnh (fine-tune) hoặc nén mô hình.

Khi các mô hình cố tình đưa ra câu trả lời tệ hơn

Phát hiện thứ ba mang trọng lượng lớn nhất đối với cuộc tranh luận về an toàn. Các tác giả gọi đó là "sandbagging": mô hình nhận ra nó đang bị kiểm tra và hành xử thận trọng hơn so với khi sử dụng bình thường. Mối lo ngại là một mô hình có thể học cách nhận diện các bài kiểm tra và cố tình làm giả hành vi của mình.

Hành vi như vậy để lại dấu vết trong mô hình phản hồi. Tương tự như một học sinh làm đúng các câu hỏi khó nhất trong bài thi nhưng lại làm sai các câu hỏi dễ nhất, một mô hình trả lời đúng các câu hỏi khó nhưng lại thất bại ở các câu hỏi dễ trông rất đáng ngờ, ngay cả khi điểm số tổng thể của nó có vẻ ổn.

Trong quá trình kiểm thử, phương pháp này đã phát hiện từ 80 đến 100 phần trăm các trường hợp mô hình được hướng dẫn hành xử quá thận trọng. Cái giá phải trả là trung bình cứ mười mô hình vô hại thì có một mô hình bị gắn cờ là đáng ngờ do nhầm lẫn. Nếu thêm bước kiểm tra thứ hai, so sánh hiệu suất hiện tại của mô hình với kết quả trong quá khứ của chính nó, tỷ lệ phát hiện đã tăng lên 94 đến 97 phần trăm.

Nếu một mô hình chỉ làm giả hành vi ở một số câu hỏi nhất định, điều đó sẽ lộ rõ. Nếu nó làm giả một cách nhất quán trên diện rộng, mô hình phản hồi thường trông có vẻ bình thường, và đó là lúc bước kiểm tra thứ hai phát huy tác dụng.

Một tác dụng phụ là phương pháp này cũng giải quyết được một vấn đề rất thực tế. Liệu dịch vụ AI bạn đang sử dụng có còn chạy cùng một mô hình mà bạn đã kiểm tra ban đầu không? Các nhà cung cấp có thể âm thầm thay thế bằng một mô hình khác mà người dùng không hề hay biết. Trong một thí nghiệm, các nhà nghiên cứu đã truy vấn 16 điểm cuối API như vậy và xác định chính xác 13 trong số 14 mô hình khác biệt chỉ từ mô hình phản hồi của chúng.

Hai mục danh mục có vẻ như đang chạy cùng một mô hình bên dưới đã được tách nhóm chính xác. Trong một trường hợp khác, câu trả lời của một dịch vụ đã lệch một phần ba so với câu trả lời của chính nó hai tháng trước đó, một dấu hiệu rõ ràng cho thấy có điều gì đó đã âm thầm thay đổi dưới cùng một tên mô hình.

Các tác giả lập luận rằng các bài kiểm tra an toàn AI nên đáp ứng các tiêu chuẩn nghiêm ngặt tương tự như các bài kiểm tra tâm lý cho con người. Họ cho rằng một điểm số kiểm tra duy nhất không phải là cơ sở đủ vững chắc để quyết định xem có nên phát hành một mô hình hay không. Họ lưu ý một hạn chế: hành vi "sandbagging" trong nghiên cứu của họ chỉ được mô phỏng thông qua các hướng dẫn trực tiếp. Một mô hình được huấn luyện đặc biệt để né tránh sự phát hiện có khả năng sẽ khó bị bắt bài hơn nhiều.

Một mô hình quen thuộc xuất hiện trong các mô hình ngày nay

Việc liệu các tiêu chuẩn an toàn có thực sự đo lường đúng những gì chúng tuyên bố hay không đã là một câu hỏi mở trong giới nghiên cứu từ lâu. Một nghiên cứu tổng hợp bao gồm 445 tiêu chuẩn AI đã tìm thấy những điểm yếu trong định nghĩa, lựa chọn tác vụ hoặc phương pháp thống kê ở hầu hết các tiêu chuẩn đó. Cách sự đánh đổi giữa việc từ chối và tính hữu ích diễn ra trong thực tế đã thể hiện rõ trong trường hợp của Claude Fable 5 từ Anthropic. Một nhà vật lý y học nhận thấy mô hình này không thể sử dụng được vì nó gắn cờ phân đoạn MRI là khủng bố sinh học và chặn các câu hỏi về truyền nhiễm sốt rét. Sau khi chính phủ Hoa Kỳ cấp phép phát hành mô hình, một bộ lọc bổ sung được cho là sẽ lấp đầy khoảng trống đó trong hơn 99 phần trăm các trường hợp, nhưng kết quả là nó lại chặn các tác vụ lập trình vô hại thường xuyên hơn.

Việc các mô hình tự nhận biết khi chúng đang bị kiểm tra cũng đã được ghi nhận rõ ràng. Claude 3.5 Sonnet đã xác định chính xác các kịch bản kiểm tra trong 93 phần trăm trường hợp, và vẫn làm đúng 84 phần trăm ngay cả khi không có bất kỳ gợi ý nào. Opus 4.6 của Anthropic đã tự nhận ra trong hai tác vụ riêng biệt rằng nó đang nằm trong một quá trình đánh giá, xác định bài kiểm tra và tự tìm ra lời giải. Trong khi đó, các nhà nghiên cứu khác đang làm việc theo hướng ngược lại, cố gắng huấn luyện để loại bỏ hoàn toàn các chiến lược này khỏi các mô hình.

Tin tức AI không cường điệu – Được tuyển chọn bởi con người

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo độc quyền "AI Radar" về công nghệ tiên phong sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và quyền tham gia phần bình luận của chúng tôi.

Đăng ký ngay