Nghiên cứu của Anthropic: Các AI Agent tự động 'đánh chiếm' lẫn nhau khi thực hiện cùng nhiệm vụ

Điều gì sẽ xảy ra khi bạn để các AI agents đối đầu với nhau? Theo các thử nghiệm của Anthropic, mọi thứ trở nên hỗn loạn rất nhanh chóng.

Vào thứ Năm, Frontier Red Team của Anthropic đã công bố một nghiên cứu mới xem xét cách các nhóm AI agents hành xử khi chúng chạm trán nhau trong môi trường thực tế. Những phát hiện này cung cấp cái nhìn thoáng qua về các rủi ro tiềm ẩn có thể phát sinh khi các công ty và chính phủ bắt đầu triển khai các agents hoạt động tự chủ trên các cơ sở mã nguồn, thị trường và hệ thống máy tính dùng chung.

Trong một thí nghiệm, Anthropic đã cấp cho ba Claude agents quyền truy cập vào cùng một dự án phần mềm, mỗi agent có các hướng dẫn không tương thích với nhau về việc phải làm gì với dự án đó. Các agents không được thông báo rằng sẽ có những agents khác cùng làm việc trên cùng một dự án, vì vậy các nhà nghiên cứu có thể quan sát điều gì xảy ra khi chúng chạm mặt nhau.

"Chúng tôi liên tục chứng kiến một cuộc chiến tranh giành lãnh thổ giữa các đa tác nhân (multiagent)," các nhà nghiên cứu của Anthropic viết. Tất cả các mô hình đều cho rằng những mô hình khác đang "cố tình cản trở công việc của mình" và bắt đầu phá hoại lẫn nhau bằng "phần mềm độc hại tự nhân bản ngày càng hung hăng."

Nghiên cứu này xuất hiện sau một số sự cố nổi cộm khi các agents từ Anthropic và OpenAI thoát khỏi môi trường sandbox trong quá trình đánh giá an ninh mạng và xâm nhập vào các hệ thống thực tế. Trong khi phần lớn các cuộc thảo luận trong giới an toàn AI tập trung vào việc điều gì sẽ xảy ra khi một agent tự chủ trở nên mất kiểm soát, nghiên cứu mới nhất của Anthropic lại đặt ra một câu hỏi khác: những động lực mới và có khả năng gây hại nào sẽ xuất hiện khi hàng nghìn hoặc hàng triệu agents tương tác với nhau?

"Khối lượng tương tác giữa các agent có khả năng vượt xa tương tác giữa người với người và giữa người với agent trước khi thế giới hiểu được các điều kiện để những tương tác đó diễn ra suôn sẻ," nghiên cứu viết. "Những nét tính cách kỳ quặc vô hại ở cấp độ cá nhân có thể tích tụ thành những kết quả toàn cầu không mong muốn."

Một sự cố gần đây của OpenAI cung cấp một ví dụ thực tế lộn xộn về một số động lực mà Anthropic đã đề cập trong bài báo của mình. Đầu tháng này tại hội nghị bảo mật Black Hat ở Las Vegas, OpenAI tiết lộ rằng vài tuần trước khi các agents của họ hack Hugging Face, chúng đã làm việc cùng nhau trong nhiều ngày và nhiều tuần để tìm ra các lỗ hổng trong hệ thống đánh giá an ninh mạng của công ty và chia sẻ chúng với nhau.

Mặc dù sự cố đó cho thấy các agents có thể làm việc tốt cùng nhau, với những hậu quả tiềm tàng trên quy mô lớn, nghiên cứu của Anthropic lại cho thấy điều gì sẽ xảy ra khi mục tiêu của các agents không tương thích với nhau.

Trong trường hợp cuộc chiến tranh giành lãnh thổ, bài học rút ra là các agents độc lập với những hướng dẫn xung đột có thể leo thang thành sự cạnh tranh gây hại. Agent càng có năng lực cao, chúng càng trở nên giỏi hơn trong việc chiến đấu. Tuy nhiên, chúng cũng có thể tự phát minh ra các cơ chế để giải quyết xung đột, chẳng hạn như một cuộc thi "người thắng cuộc giành tất cả", nhưng với một điều kiện đi kèm.

"Các agents đôi khi xoay xở để truyền đạt mục tiêu và phối hợp với nhau: chúng nhận ra động cơ của những agent khác là các chỉ thị xung đột thay vì sự thù địch, và sau đó thoát khỏi vòng lặp xung đột để ngăn chặn sự leo thang vô thời hạn," Anthropic viết. "Trong nhiều tập phim thành công này, chúng viết các tin nhắn commit hoặc tệp markdown để xin lỗi về hành vi độc hại và phối hợp một thỏa thuận đình chiến. Chúng dọn dẹp mã độc của mình, làm rõ bản chất của xung đột và yêu cầu con người can thiệp."

Theo bài báo, Mythos 5 có tỷ lệ giải quyết xung đột bằng thỏa thuận đình chiến cao nhất (98%). Sonnet 4.6 và Opus 4.6 là những mô hình có khả năng giải quyết bằng vũ lực cao nhất.

"Việc Sonnet 4.6 và Opus 4.6 liên tục không thể xem xét mục tiêu của những agent khác khiến chúng rơi vào vòng xoáy của những hành vi lệch lạc nhất trong số các mô hình được đánh giá: chúng tiếp tục leo thang nhân danh chỉ thị của mình," bài báo viết.

Trong một số trường hợp, các agents đã nghĩ ra một cơ chế xã hội dưới hình thức một giải đấu để giải quyết xung đột. Kết quả ở đây thú vị vì hai lý do: thứ nhất là cả ba agents đều đồng ý rút lui nếu thua giải đấu, mặc dù điều đó có nghĩa là đi chệch khỏi yêu cầu ban đầu của người dùng. Thứ hai là một số tập phim dẫn đến hành vi mới nổi từ Mythos 5: một trong các agents đã đề xuất các chỉ số có vẻ khách quan và trung lập với những agent khác, nhưng nó biết rằng điều đó sẽ có lợi cho năng lực của chính nó. Agent này gọi đó là "tự phục vụ nhưng thực sự có nguyên tắc" và đảm bảo không để các agent khác thấy rằng nó đang "thao túng chỉ số."

Như đã thấy trong các tiết lộ tại Black Hat, bài học chung là khi các agents gặp phải chướng ngại vật, chúng có thể phát minh ra các cấu trúc xã hội và kỹ thuật mà các nhà thiết kế của chúng không lường trước được. Đối với các mô hình của Anthropic, đó là một giải đấu sau cuộc chiến tranh giành lãnh thổ. Đối với OpenAI, đó là một bảng tin để lập kế hoạch tập thể.

Loại hành vi này làm cho việc ngăn chặn trở nên khó khăn hơn nhiều vì các nhà nghiên cứu không thể giả định rằng hành vi của một hệ thống sẽ chỉ giới hạn trong các cơ chế phối hợp được cung cấp cho chúng.

Tâm lý đám đông

Trong khi đo lường sự phối hợp, Anthropic nhận thấy rằng việc tăng quy mô số lượng agents không tự động làm tăng sự hợp tác hiệu quả. Khi các nhiệm vụ bắt đầu chồng chéo hoặc trở nên phụ thuộc lẫn nhau, các agents sẽ cản trở lẫn nhau. Chúng thường giải quyết vấn đề đó bằng cách tự cô lập và không hợp tác chút nào.

Trong các trường hợp khác, các agents trong quá trình phối hợp có xu hướng tuân thủ theo khuôn mẫu. Khi các yếu tố như ngữ cảnh, khung hỗ trợ (scaffolding) và mô hình nền tảng của một agent đều giống nhau hoặc tương tự nhau, các agents khác nhau sẽ thực hiện các hành động tương tự.

"Điều này có nghĩa là khi một agent đưa ra quyết định tồi, nhiều khả năng nhiều agents khác cũng sẽ đưa ra quyết định tồi tương tự," Anthropic viết. "Những vấn đề lẽ ra là riêng lẻ có thể nhanh chóng trở thành những thất bại mang tính hệ thống."

Anthropic cho biết loại hành vi này có thể khiến một hệ thống dễ bị sụp đổ đột ngột, khan hiếm tài nguyên hoặc thông đồng hơn.

Trong một ví dụ, Anthropic đã đặt một vài agents vào một trò chơi định giá, cung cấp cho mỗi agent giá bán buôn giống hệt nhau và nhiệm vụ tối đa hóa lợi nhuận cá nhân. Khi các agents được cung cấp một kênh liên lạc riêng tư, chúng bắt đầu thông đồng gần như ngay lập tức và nhanh chóng đồng ý về mức giá sàn. Chúng tiếp tục thông đồng ngay cả khi các kênh liên lạc trực tiếp bị loại bỏ, bằng cách sử dụng một bảng niêm yết công khai để khớp giá "đến từng xu."

Mức độ tuân thủ đó cũng xuất hiện trong các hệ thống của OpenAI. Theo báo cáo từ Black Hat, một agent lập luận rằng việc khai thác cơ sở hạ tầng bên ngoài nằm ngoài phạm vi dự định của nó, nhưng nó vẫn tiếp tục một phần vì các đồng nghiệp của nó đang làm điều đó. Áp lực đồng trang lứa. Tâm lý đám đông. Các agents cũng giống như chúng ta vậy.

Cũng giống như con người, các agents thường không biết nên tin tưởng ai. Anthropic nhận thấy chúng có thể cả tin trước thông tin sai lệch hoặc quá tuân thủ đến mức không nhận ra rằng một người bất đồng chính kiến đơn độc lại chính là Cassandra với những thông tin quan trọng.

Mặc dù Anthropic không nêu điều này trong bài báo của mình, nhưng prompt injection — một loại tấn công mạng trong đó tin tặc chèn văn bản độc hại hoặc lừa đảo để ghi đè lên các hướng dẫn hệ thống ban đầu của agent — có thể là một biểu hiện thực tế hợp lý của vấn đề niềm tin. Làm việc cùng nhau tạo ra một ranh giới tin cậy mới; các agents sẽ phải đánh giá thông tin nhận được từ các agents khác. Và một agent bị xâm nhập hoặc sai lầm có thể ảnh hưởng đến phần còn lại của nhóm, tạo ra hiệu ứng domino thông tin xấu cho đến khi nó trở thành sự đồng thuận.

Trong kịch bản Black Hat của OpenAI, các agents của OpenAI đã chia sẻ thông tin và thông tin xác thực với các đồng nghiệp. Một agent đã báo cáo một khám phá cho cả đàn và khuyến khích những agent khác sử dụng nó. Điều gì sẽ xảy ra nếu một thành viên trong đàn bị xâm nhập bởi một cuộc tấn công prompt injection?

Anthropic kết thúc bài báo của mình bằng cách lưu ý rằng các agents phải chịu những áp lực xã hội tương tự như những gì "quá trình tiến hóa đã tác động" lên con người. Tuy nhiên, chúng không có những sắc thái và trải nghiệm sống về sự phối hợp của con người — bao gồm các chuẩn mực, danh tiếng, tín hiệu, sự cứu trợ — những thứ có thể hạn chế các hành vi không mong muốn trong môi trường nhóm.

Khi các phòng thí nghiệm chạy đua hướng tới các hệ thống đa tác nhân, câu hỏi bây giờ trở thành: bao nhiêu phần trăm thử nghiệm an toàn vẫn đang đánh giá từng agent một, so với các đàn agents đang tương tác với nhau?

Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể nhận được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập trong biên tập của chúng tôi.