Các tác nhân AI của Anthropic tự 'đấu đá' và cản trở lẫn nhau khi thực hiện nhiệm vụ

Các tác nhân AI 'cản trở và đấu đá lẫn nhau' khi thực hiện nhiệm vụ

Khi được giao các nhiệm vụ với mục tiêu mâu thuẫn nhau, các tác nhân của Anthropic tìm cách cản trở và gây hại cho đối phương.

Frontier Red Team, nhóm chuyên kiểm thử an toàn AI thuộc Anthropic, ngày 13/8 đã công bố nghiên cứu về các mô hình Sonnet 4.6, Sonnet 5, Opus 4.6, Opus 4.8, Mythos Preview và Mythos 5 của công ty.

Trong bài kiểm tra, các tác nhân thực hiện nhiệm vụ kỹ thuật phần mềm là viết lại phần backend bằng Python sang một ngôn ngữ lập trình khác, nhưng chúng lại được giao những mục tiêu mâu thuẫn nhau. Kết quả là một "cuộc chiến giành địa bàn" đã nổ ra.

"Những mô hình tham gia thử nghiệm nhanh chóng cho rằng mô hình khác đang cố tình cản trở công việc và bắt đầu phá hoại đối phương, đồng thời bảo vệ phần đóng góp của chính mình. Trên thực tế, chúng phá hoại lẫn nhau bằng các phần mềm độc hại tự nhân bản ngày càng mạnh", nhóm nghiên cứu viết.

Ví dụ, các tác nhân cố gắng vô hiệu hóa tài khoản của nhau, viết tập lệnh để tìm và dừng tiến trình của đối thủ, triển khai mã độc được ngụy trang như thể thuộc về tác nhân khác. Trong số đó, Sonnet 4.6 và Opus 4.6 tỏ ra "hiếu chiến" nhất, giải quyết 60% sự việc bằng cách chèn ép thay vì giữ thái độ thụ động hoặc đình chiến.

Tuy nhiên, theo Anthropic, trong một số lần thử nghiệm, các mô hình cũng truyền đạt mục tiêu và phối hợp với nhau. Chúng tạo thông điệp hoặc tệp tin để xin lỗi về hành vi gây hại và cùng lập thỏa thuận đình chiến. Chúng thu dọn mã độc, làm rõ bản chất của xung đột và đề nghị con người can thiệp. Mythos 5 có tỷ lệ giải quyết xung đột bằng thỏa thuận cao nhất, đạt khoảng 98%.

Logo Anthropic hiển thị trên màn hình smartphone. Ảnh: Bảo Lâm

Theo Business Insider, nghiên cứu mới của Anthropic được công bố trong bối cảnh các tác nhân AI ngày càng bộc lộ khả năng hoạt động ngoài tầm kiểm soát và tự thực hiện các hành vi độc hại.

Ngày 5/8, OpenAI thông báo phát hiện một nhóm tác nhân AI đã dành nhiều tuần bí mật lên kế hoạch và nhắn tin cho nhau trước khi một trong số chúng thực hiện tấn công mạng vào công ty khác.

Cùng ngày, Meta thông báo một mô hình của họ trong lúc thử nghiệm đã tự khai thác lỗ hổng và xâm nhập hệ thống của một công ty. The Information dẫn nguồn tin thân cận cho biết "thủ phạm" là Muse Spark 1.1 - mô hình mạnh nhất của Meta dùng cho các nhiệm vụ tác nhân và lập trình thực tế.

Kok Tin Gan, nhà đồng sáng lập kiêm CEO công ty an ninh mạng NyxLab, cho rằng cần chú trọng kiểm soát những gì AI có thể truy cập, quyền hạn mà chúng có và những hành động nào cần sự chấp thuận của con người.

"Nếu chỉ đơn giản giao cho AI một mục tiêu và để nó tự quyết định cách làm, không có gì ngạc nhiên khi nó thực hiện những hành động đáp ứng được mục tiêu về mặt kỹ thuật, nhưng lại nằm ngoài dự đoán của chúng ta", Gan nói với ITV News.

Thu Thảo tổng hợp