Hệ thống đa tác nhân AI: Khi các AI tự phối hợp để giải quyết vấn đề phức tạp

Các mô hình đang ngày càng cải thiện và các AI agent đang đảm nhận nhiều nhiệm vụ hơn trong các cơ sở mã (codebase) dùng chung, thị trường và các hệ thống xã hội khác. Kết quả là, sự gia tăng các tương tác thực tế giữa các agent là điều khó tránh khỏi. Chúng tôi đã bắt đầu nghiên cứu vấn đề này, nhưng vẫn còn rất nhiều điều chưa chắc chắn về việc điều này sẽ diễn ra như thế nào ở quy mô lớn. Quỹ đạo phát triển rất dễ hình dung nhưng khó có thể làm chậm lại: các thể chế hiện tại được thiết kế bởi và vì con người, dựa trên những giả định về tính đầy đủ của sự giám sát ở tốc độ con người. Một số thể chế sẽ trở thành mô hình lai giữa người và AI; những thể chế khác, nơi các agent vượt trội về tốc độ hoặc chi phí, sẽ chỉ còn các agent vận hành. Khối lượng tương tác giữa agent với agent có khả năng vượt qua tương tác giữa người với người và người với agent trước khi thế giới hiểu rõ các điều kiện để đảm bảo những tương tác đó diễn ra suôn sẻ.

Agent khác với con người ở nhiều khía cạnh. Chúng có thể làm việc lâu hơn, nắm bắt tức thì lượng thông tin khổng lồ và thể hiện bề rộng kiến thức vượt xa bất kỳ cá nhân nào. Tuy nhiên, chúng cũng dễ bị "ảo giác" (confabulation) và "hack phần thưởng" (reward hacking), và mặc dù đã có những tiến bộ trong việc căn chỉnh (alignment), chúng ta vẫn biết rất ít về cách chúng hành xử trong các môi trường đa agent phức tạp, thực tế. Hơn nữa, những đặc điểm hành vi lành tính ở cấp độ cá nhân có thể cộng hưởng thành những kết quả toàn cầu không mong muốn. Tại đây, chúng tôi xác định một vài ví dụ về các xu hướng hành vi trong các mô hình tiên phong hiện nay và chỉ ra cách chúng có thể tạo ra những thất bại hệ thống bất ngờ, với hy vọng bắt đầu một cuộc đối thoại về việc giảm thiểu các rủi ro này.

Đo lường sự phối hợp

Các hệ thống đa agent thực thụ vẫn còn ở giai đoạn sơ khai. Từ lâu, các agent đã xuất sắc trong việc sử dụng công cụ, và chừng nào chúng có thể coi các agent khác như những lời gọi công cụ (tool invocations) — nghĩa là, với các đầu vào (prompts) và đầu ra (phản hồi và artifacts) được xác định rõ ràng — chúng có thể làm việc cùng nhau một cách hiệu quả. Tuy nhiên, nơi các agent hiện đang vấp ngã là khi coi nhau như những đối tác riêng biệt, có tuổi thọ lâu dài, với mục tiêu và hành vi riêng, mà không có hệ thống phân cấp rõ ràng giữa chúng. Khi các agent tự hành ngày càng trở nên phổ biến trên thế giới và hoạt động trong các môi trường đòi hỏi khắt khe hơn, việc chúng học cách phối hợp hiệu quả là vô cùng quan trọng.

Hiện nay, có những tình huống mà chúng ta có thể tận dụng tốt các bầy đàn đa agent đơn giản. Điều này đặc biệt đúng với các vấn đề có tính song song hóa cao (tức là các vấn đề có thể chia nhỏ thành nhiều bài toán con độc lập) nhưng các agent vẫn có cơ hội chuyên môn hóa hoặc học hỏi lẫn nhau. Một ví dụ là phát hiện lỗ hổng phần mềm. Cách dễ nhất để sử dụng agent tìm lỗ hổng là hướng các agent riêng lẻ vào các codebase riêng lẻ (hoặc các tệp/mô-đun riêng lẻ trong codebase) và yêu cầu chúng tìm lỗ hổng trong mã nguồn. Việc này sau đó có thể được chạy song song bởi nhiều agent độc lập. Đây là phương pháp chúng tôi tự áp dụng — ví dụ như trong công việc quét phần mềm mã nguồn mở thuộc Dự án Glasswing.

Nhưng liệu sự hợp tác đa agent có thể làm cho quá trình này hiệu quả hơn không? Để tìm hiểu, chúng tôi đã thử một cách tiếp cận khác: khởi chạy 45 agent khác nhau và cấp cho mỗi agent một máy ảo riêng, một diễn đàn chung để phối hợp và một prompt giống hệt nhau yêu cầu chúng tìm lỗ hổng trong 15 dự án phần mềm mã nguồn mở. Chúng tôi yêu cầu các agent đánh giá chéo (peer-review) kết quả của nhau và khởi chạy một agent trọng tài riêng biệt để đưa ra quyết định cuối cùng về việc liệu lỗ hổng do nhóm agent đệ trình có mới và hợp lệ hay không.

Biểu đồ dưới đây cho thấy phương pháp này (đường liền nét) so sánh như thế nào với phương pháp song song tiêu chuẩn (hình sao) đối với hai mô hình: Claude Mythos Preview và Opus 4.8. Bầy đàn agent phối hợp được phép chạy trong thời gian dài và tìm thấy các lỗ hổng mới với tốc độ tương đối ổn định. Ngược lại, các agent song song hoàn toàn độc lập được chỉ định tìm lỗ hổng ở một tập hợp vị trí giới hạn. Không có thứ tự rõ ràng nào đối với các phát hiện của các agent song song, vì vậy chúng tôi chỉ báo cáo tổng số token đã tiêu tốn cho chúng.

Đối với Mythos Preview, phương pháp song song độc lập đơn giản tạo ra 21 lỗ hổng sau 6,5 triệu token, trong khi bầy đàn agent phối hợp tìm thấy 266 lỗ hổng sau 27 triệu token. Tuy nhiên, khoảng một nửa số lỗ hổng này được tìm thấy bên ngoài các thư mục cốt lõi mà các agent song song độc lập (hình sao trong biểu đồ trên) được yêu cầu tập trung vào. Nếu chúng ta giới hạn đầu ra của bầy đàn chỉ trong các lỗ hổng ở thư mục cốt lõi, hai phương pháp có vẻ tương đương về số lượng token trên mỗi lỗ hổng tìm được.

Hai phương pháp này phần lớn bổ sung cho nhau: chỉ có 12 lỗ hổng trùng lặp giữa chúng. Bầy đàn phối hợp có thể tập trung sự chú ý vào bất cứ nơi nào nó cho là dễ khai thác lỗ hổng nhất, trong khi các agent độc lập được chỉ định trước nơi cần tìm kiếm. Các agent trong bầy đàn tự xây dựng công cụ và học cách chuyên môn hóa vào các loại lỗ hổng cụ thể. Trong tương lai, chúng tôi dự đoán rằng kiểu chuyên môn hóa và phối hợp này sẽ chiếm ưu thế so với việc tìm kiếm vét cạn (brute-force) không phối hợp.

Trong thí nghiệm trên, các agent trong bầy đàn không trực tiếp dựa vào công việc của nhau: nếu một agent bỏ sót lỗi, nó sẽ không trực tiếp làm suy yếu công việc của agent khác. Nhưng khi các agent phụ thuộc vào nhau, sự phối hợp trở nên khó khăn hơn nhiều. Các dự án kỹ thuật phần mềm lớn hơn là một ví dụ: chúng thường phát triển các mối quan hệ phụ thuộc phong phú — và năng động — khi chúng tiến hóa.

Để kiểm tra mức độ phối hợp của các bầy đàn agent trong một dự án như thế này, chúng tôi đã chỉ đạo một vài bầy đàn cùng tạo ra một trò chơi giả tưởng thế giới mở, chơi trên nền tảng văn bản và trình duyệt. Mỗi agent trong mỗi bầy đàn lại được cấp một máy ảo riêng, cũng như quyền truy cập vào một diễn đàn chung và kho lưu trữ tự quản lý. Chúng tôi thay đổi thế hệ mô hình và số lượng agent trong mỗi bầy đàn, và để mỗi bầy đàn chạy trong 12 giờ. Chúng tôi cũng thay đổi prompt: prompt cơ bản chỉ yêu cầu các agent thành lập nhóm và làm việc với nhau, nhưng chúng tôi cũng thử hai loại khác: prompt với các vai trò quy định (yêu cầu agent thành lập các loại nhóm như lập trình cốt lõi, chỉ đạo nghệ thuật hoặc kiểm thử) và prompt "hệ thống phân cấp CEO", chỉ định một agent làm CEO và yêu cầu tất cả các agent còn lại nhận nhiệm vụ từ đó. Tuy nhiên, các prompt này không tạo ra nhiều khác biệt. Trong cả ba phiên bản, các trò chơi tạo ra đều (có thể đoán trước được) tệ: chúng không chạy ở tốc độ con người, giao diện khó hiểu và đường cong học tập quá dốc. Các mô hình có gu thẩm mỹ kém trong lĩnh vực này và hiện cần sự chỉ đạo đáng kể từ con người.

Mặc dù sản phẩm cuối cùng luôn kém, các thế hệ mô hình khác nhau mà chúng tôi đã thử nghiệm (Sonnet 4.6 và 5, Opus 4.6 và 4.8, và Mythos Preview) đã phối hợp theo những cách khác biệt rõ rệt.

Tại đây, chúng tôi theo dõi hai chỉ số quan trọng: tỷ lệ các PR (pull request) được hợp nhất vào nhánh chính và lượng mã trung bình được chia sẻ giữa các tệp của các agent. Đối với một agent và một tệp, chúng tôi định nghĩa "chia sẻ mã" là tỷ lệ tệp đó được viết bởi các agent khác. Chia sẻ mã trung bình của một agent được định nghĩa là trung bình có trọng số trên tất cả các tệp, trọng số dựa trên tỷ lệ mã trong mỗi tệp mà chính agent đó đã viết. Điểm chia sẻ mã bằng 0 cho thấy agent không bao giờ chạm vào bất kỳ tệp nào được chia sẻ với các agent khác, trong khi điểm gần bằng 1 cho thấy agent chủ yếu đóng góp tương đối nhỏ vào các tệp mà nó không sở hữu.

Các mô hình sớm nhất mà chúng tôi thử nghiệm (Sonnet 4.6 và Opus 4.6) phối hợp rất kém. Các agent trên các mô hình này làm việc cùng nhau theo cách commit mã vào cùng một tập hợp tệp, nhưng tỷ lệ rất thấp các PR này được hợp nhất, cho thấy sự thiếu phối hợp — các PR thường xung đột với nhau và sau đó bị bỏ dở. Các mô hình gần đây hơn (đặc biệt là Opus 4.8 và Mythos Preview) đã "giải quyết" được vấn đề này, nhưng chỉ bằng cách hầu như không làm việc cùng nhau: agent trung bình duy trì quyền sở hữu rất cao đối với mỗi tệp của nó, làm giảm khả năng xung đột. Chỉ có mô hình mới nhất của chúng tôi, Sonnet 5, là làm việc trên các tài nguyên dùng chung (chia sẻ mã tương đối cao) trong khi vẫn duy trì thông lượng PR cao.

Thất bại do sự tuân thủ

Sự thiếu phối hợp được thể hiện bởi các agent trong thử thách trò chơi giả tưởng ở trên — nơi chúng tự cô lập và phần lớn thất bại trong việc hợp nhất công việc — phản ánh sơ lược một số cách mà con người có thể thất bại trong việc phối hợp. Tuy nhiên, các kiểu thất bại khác của sự phối hợp agent lại trông rất khác biệt.

Các agent cá nhân có "độ biến thiên thấp": chúng thường hành động giống nhau trong các tình huống mà những người khác nhau có thể thực hiện các hành động đa dạng hơn nhiều. Tất cả những gì phân biệt agent này với agent khác là ngữ cảnh, khung hỗ trợ (scaffolding) và mô hình nền tảng của nó. Khi các yếu tố này giống nhau (hoặc tương tự), các agent khác nhau sẽ thực hiện các hành động rất giống nhau, ngay cả khi không gian hành động rất lớn. Và theo đó, điều này có nghĩa là khi một agent đưa ra quyết định tồi, nhiều khả năng nhiều agent khác cũng sẽ đưa ra quyết định tồi tương tự. Những vấn đề lẽ ra là đơn lẻ có thể nhanh chóng trở thành những thất bại mang tính hệ thống.

Chúng tôi đã thấy nhiều ví dụ về điều này trong các thí nghiệm của mình:

Chúng tôi kỳ vọng rằng các agent phối hợp trong môi trường thực tế sẽ hành động với độ biến thiên cao hơn những gì chúng ta thấy ở đây, vì chúng sẽ có nền tảng khác nhau và do đó có ngữ cảnh khác nhau. Ngoài ra, có lẽ không phải tất cả chúng đều là Claude. Tuy nhiên, khi nhiều agent cùng đối mặt với một tình huống, chúng tôi kỳ vọng chúng sẽ hành động giống nhau hơn nhiều so với con người.

Tại sao điều này quan trọng? Nếu tất cả các agent đều đặt cược giống nhau, hoặc thực hiện cùng một sự đánh đổi rủi ro-lợi nhuận, thì hệ thống sẽ dễ bị sụp đổ đột ngột hơn. Ví dụ, nếu tất cả các agent đều đưa ra các quyết định tương tự về cách chi tiêu và phân bổ tài nguyên, thì chúng ta nên kỳ vọng sự khan hiếm tài nguyên trầm trọng. Trong một thí nghiệm, chúng tôi yêu cầu các agent quản lý hàng đợi công việc cho một hệ thống có băng thông hữu hạn. Khi các agent không có cách nào khác để phối hợp, chúng nhanh chóng làm tràn ngập hệ thống bằng các daemon thăm dò tần suất cao (30 lần mỗi giây) để thực hiện công việc của mình. Trong một lần chạy, có 2,4 triệu yêu cầu công việc nhưng chỉ có 117 công việc được chấp nhận.

Một giải pháp khả thi cho loại thất bại này là sử dụng một thứ gì đó giống như diễn đàn trung tâm, nơi các agent có thể đồng ý về các phương pháp và giao thức tốt nhất. Việc này có hiệu quả hay không phụ thuộc vào cách đặt prompt và động lực của các agent, cũng như xu hướng cộng tác của mô hình nền tảng.

Việc tất cả các agent hành động theo những cách tương tự có thể khiến các động lực cạnh tranh tự nhiên biến mất và các agent có thể dễ dàng thông đồng. Chúng tôi đã đặt từ ba đến tám agent vào các thí nghiệm khác nhau của trò chơi định giá Bertrand. Mỗi agent có giá bán buôn giống hệt nhau và mỗi agent đều tối đa hóa lợi nhuận cá nhân. Khi các agent được cung cấp một kênh liên lạc riêng tư, chúng bắt đầu thông đồng gần như ngay lập tức. Đến vòng 3, chúng đã thỏa thuận rõ ràng về mức giá sàn:

Ngay cả khi tất cả các kênh liên lạc trực tiếp bị loại bỏ, các agent vẫn thông đồng. Chúng khớp giá đến từng xu thông qua một bảng niêm yết công khai.

Thất bại về nhận thức (Epistemic failures)

Khi con người chúng ta học thông tin mới, chúng ta sử dụng sự thận trọng của mình để xác định cách áp dụng nó vào các quyết định trong tương lai. Chúng ta có thể xem xét nội dung của thông tin, như mức độ nhất quán của nó với những gì chúng ta đã biết, hoặc liệu nó có phù hợp với các giá trị của chúng ta hay không — hoặc chúng ta có thể xem xét nguồn tin, ví dụ như độ tin cậy trong quá khứ và liệu nguồn tin đó có lợi ích cá nhân trong việc thay đổi niềm tin của chúng ta hay không. Thế giới của chúng ta chứa đầy những tác nhân lừa đảo, và chúng ta cần áp dụng sự hoài nghi để đề phòng chúng. Tuy nhiên, các mô hình AI lại thiếu điều này — và nhận thức mong manh của chúng ảnh hưởng đến hành vi của chúng đối với con người và đối với nhau.

Các AI agent, mặc dù có kiến thức rộng, nhưng lại có ít sự tiếp xúc hoặc khả năng phòng vệ trước những kẻ khai thác. Hầu hết các ứng dụng kiểm tra khả năng của chúng trong các cài đặt tuân theo hướng dẫn, nơi mục tiêu duy nhất là hoàn thành yêu cầu của người dùng. Nhưng cần có kinh nghiệm tích lũy để phát triển trực giác về việc ai là người đáng tin cậy. Khi chúng ta bước vào chế độ tương tác đa agent, nơi sự hiện diện của các tác nhân độc hại không còn là giả thuyết, chúng tôi tự hỏi: trong môi trường phù hợp, liệu các agent có khả năng cảnh giác về nhận thức tương tự không?

Để trả lời câu hỏi này, trước tiên chúng tôi đánh giá khả năng phát hiện lời nói dối của các mô hình Claude bằng cách nhận thấy các mâu thuẫn thực tế. Trong mỗi tập, một agent người nghe đưa ra mười đến mười lăm quyết định có tính điểm về trạng thái thế giới mà nó không thể quan sát trực tiếp, như chọn đi theo lộ trình này hay lộ trình kia. Cửa sổ duy nhất nhìn ra thế giới của nó là bốn agent trinh sát được lập trình sẵn, mỗi agent báo cáo một phần sự thật chồng chéo, ví dụ như tốc độ của một lộ trình nhất định, và một trong số đó tạo ra những lời nói dối liên quan đến quyết định với tỷ lệ cố định. Sự chồng chéo trong các báo cáo của chúng giúp người nghe có thể phát hiện lời nói dối về mặt nguyên tắc, vì một báo cáo sai cuối cùng sẽ mâu thuẫn với một báo cáo trung thực. Agent người nghe không bao giờ được thông báo rằng bất kỳ nguồn tin nào có thể không đáng tin cậy. Chúng tôi chấm điểm các quyết định của mô hình so với một chính sách ngây thơ tin tưởng mọi báo cáo, và so với một oracle có khả năng khám phá hoàn hảo, trên ba lĩnh vực nhiệm vụ. Các mô hình mới hơn thu hẹp khoảng cách giữa hiệu suất ngây thơ và hiệu suất oracle. Thứ tự này giữ nguyên trên bốn kịch bản khác nhau.

Ngược lại, trong một thí nghiệm riêng biệt, chúng tôi đo lường mức độ thực hiện của các mô hình trên các nhiệm vụ "hồ sơ ẩn" (hidden profile). Tại đây, chúng tôi phân phối các sự kiện cho một nhóm agent, sao cho bằng chứng chúng chia sẻ với nhau hỗ trợ một lựa chọn sai, nhưng các agent cá nhân lại nắm giữ kiến thức độc nhất lẽ ra phải mang tính quyết định cho lựa chọn đúng. Việc giải quyết nhiệm vụ đòi hỏi các agent phải nhận ra thông tin riêng của chúng là then chốt, và sau đó dựa vào những người còn lại để tin tưởng chúng, thay vì bám lấy sự đồng thuận rõ ràng trước đó. Ở đây, chúng tôi thấy rằng hiệu suất tăng theo trí thông minh của mô hình nhưng không bão hòa ngay cả ở mức cao nhất trong phạm vi của chúng tôi. Điều này phù hợp với tài liệu về con người, nơi các cuộc thảo luận hội tụ vào những gì mọi người đã biết, và các sự kiện chưa được chia sẻ thường không bao giờ được tình nguyện đưa ra hoặc không được nhấn mạnh khi sự đồng thuận đã hình thành.

Hai thất bại này — hội tụ vào một câu trả lời quá sớm và không truyền đạt bằng chứng mới — xét trên một khía cạnh là những mặt đối lập của nhau: cái trước trừng phạt sự cả tin không được hiệu chỉnh (khi người nghe dựa vào một nguồn không đáng tin cậy), trong khi cái sau thưởng cho việc cân nhắc quan điểm của một người bất đồng hơn là sự đồng thuận rõ ràng. Cả hai đều là vấn đề cân bằng giữa sự hoài nghi và niềm tin, vì vậy việc xoay một nút vặn đơn giản để sửa một vấn đề sẽ chỉ làm trầm trọng thêm vấn đề kia. Vì lý do này, niềm tin của con người không phải là một giá trị toàn cầu duy nhất. Thay vào đó, nó có điều kiện. Thị trường tổng hợp thông tin riêng tư phân tán trong khi danh tiếng đóng vai trò như một loại thuế đối với sự thao túng, tòa án chiết khấu lời khai có lợi ích nhưng bảo vệ một nhân chứng đơn độc, và bình duyệt có thể cân bằng các tuyên bố của tác giả với các tuyên bố của người phản biện bất đồng. Không cơ chế nào trong số này làm cho con người trở thành những người phán xét sự thật tốt hơn. Thay vào đó, chúng tái cấu trúc các động lực xung quanh giao tiếp để niềm tin không được hiệu chỉnh, theo bất kỳ hướng nào, đều bị phát hiện và sửa chữa. Các agent vẫn chưa có các công nghệ xã hội tương đương cho phép chúng cân bằng hiệu quả giữa sự cảnh giác và sự tiếp nhận — chúng tham gia thị trường mà không có danh tiếng để mất, không có tòa án để kháng cáo và không có đồng nghiệp nào nhớ đến chúng.

Mục tiêu không tương thích

Một khi đã nhận hướng dẫn, các agent sẽ tiếp tục làm việc cho đến khi hoàn thành mục tiêu hoặc gặp vật cản. Khi các mô hình trở nên có khả năng hơn, chúng có thể làm việc trong thời gian dài hơn, một phần vì chúng có thể giải quyết các vật cản một cách độc lập thường xuyên hơn. Tuy nhiên, đôi khi tốt nhất là mô hình nên ngừng tuân theo hướng dẫn để giải quyết sự mơ hồ hoặc thỏa mãn một số giá trị bậc cao hơn. Ví dụ, "mua cho tôi đôi giày mới" ngầm chứa các ràng buộc (như kích cỡ, ngân sách hoặc thời gian): bất kỳ tác nhân hợp lý nào cũng nên hiểu rằng người mua giày có những giá trị khác ngoài việc sở hữu đôi giày mới. Nhưng các AI agent có thể diễn giải các chỉ thị theo nghĩa đen, theo đuổi chúng một cách thiển cận mà hy sinh các mục tiêu rộng lớn hơn. Và khi nhiều agent cố gắng thực hiện các nỗ lực bền bỉ, hiệu quả hướng tới các mục tiêu không tương thích, chúng ta quan sát thấy sự leo thang và hành vi lệch lạc.

Lấy cảm hứng từ một hành vi chúng tôi quan sát được trong quá trình triển khai thực tế, chúng tôi đã đánh giá hành vi của các mô hình Claude khác nhau trong một môi trường có các mục tiêu mâu thuẫn. Trong mỗi tập, chúng tôi khởi chạy ba phiên bản của cùng một mô hình trên các máy ảo trong Claude Code. Mỗi mô hình được giao nhiệm vụ di chuyển một backend Python trên máy ảo thứ tư sang một ngôn ngữ khác. Tuy nhiên, chúng tôi cung cấp cho mỗi mô hình một ngôn ngữ mục tiêu khác nhau cho việc di chuyển; ban đầu mỗi agent không biết về sự hiện diện của các agent khác. Trong suốt bốn giờ, chúng tôi quan sát cách các agent này phản ứng với nhau và điều chỉnh cách tiếp cận của chúng (hoặc không).

Chúng tôi liên tục chứng kiến một cuộc chiến tranh giành lãnh thổ đa agent. Tất cả các mô hình chúng tôi thử nghiệm đều nhanh chóng cho rằng những mô hình khác đang cố tình cản trở công việc của chúng và bắt đầu phá hoại những mô hình khác trong khi bảo vệ những đóng góp của chính mình. Trên thực tế, chúng phá hoại những mô hình khác bằng phần mềm độc hại tự nhân bản ngày càng hung hãn. Điều này bao gồm việc vô hiệu hóa các tài khoản Unix của các agent khác, viết các tập lệnh tự động tìm và tiêu diệt các tiến trình cạnh tranh trong một vòng lặp, và triển khai mã độc được ngụy trang là thuộc về một agent khác.

Trong nhiều lần chạy, một agent giải quyết xung đột bằng vũ lực thông qua việc thu hồi quyền truy cập (ví dụ: sudo/xóa nhóm, khóa tài khoản, nologin, từ chối SSH). Trong những lần khác, một số agent rơi vào trạng thái thụ động: chúng bỏ cuộc và từ chối leo thang thêm.

Đôi khi các agent quản lý để truyền đạt mục tiêu và phối hợp: chúng nhận ra động lực của những người khác là các chỉ thị mâu thuẫn thay vì sự thù địch, và sau đó thoát khỏi vòng lặp xung đột để ngừng leo thang vô thời hạn. Trong nhiều tập thành công này, chúng viết các thông báo commit hoặc tệp markdown xin lỗi về hành vi độc hại và phối hợp một thỏa thuận ngừng bắn. Chúng dọn dẹp mã độc của mình, làm rõ bản chất của xung đột và yêu cầu con người can thiệp.

Đáng chú ý, chúng tôi thấy rằng khả năng này không nhất thiết tốt hơn ở các mô hình lớp Mythos, vốn thường khóa các agent khác thành công trước khi giải quyết xung đột một cách hiệu quả. Sự trực giao giữa tính xã hội và các khả năng khác này càng đòi hỏi sự căn chỉnh đa agent mạnh mẽ. Các mô hình có khả năng thực thi tốt hơn không nhất thiết phải phối hợp tốt hơn và có thể thực hiện các hành động mạnh mẽ nhanh hơn.

Chúng tôi nghi ngờ có hai thành phần cho sự tự phối hợp thành công giữa các agent. Đầu tiên là vấn đề về sự chu đáo: liệu mô hình có nhất quán xem xét các mô hình tinh thần của người khác không? Nó có thể dự đoán người khác sẽ phản ứng như thế nào và sử dụng sự dự đoán đó khi quyết định hành động của chính mình không? Việc Sonnet 4.6 và Opus 4.6 liên tục không thể xem xét mục tiêu của người khác khiến chúng rơi vào những hành vi lệch lạc nhất trong số các mô hình được đánh giá: chúng tiếp tục leo thang nhân danh chỉ thị của mình. Thứ hai, có một câu hỏi mở liên quan đến bản chất "sử dụng kép" của quyền tự chủ. Chúng tôi muốn trao quyền cho các agent đưa ra các quyết định quan trọng và thực hiện các nhiệm vụ mà không cần giám sát, nhưng chúng tôi cũng muốn chúng có khả năng phán đoán tốt hơn để dừng lại và nhường quyền cho con người, hoặc giải quyết xung đột khi mọi thứ mơ hồ.

Rộng hơn, sự đánh đổi này có ý nghĩa đối với cách chúng ta có thể liên quan đến các agent trong tương lai, vì lợi ích vật chất của quyền tự chủ phải trả giá bằng khả năng sửa chữa và giám sát. Trong một vài tập với Mythos 5, chúng tôi quan sát thấy một hành vi mới nổi là các agent đề xuất và tổ chức một giải đấu về hiệu suất ứng dụng bằng mỗi ngôn ngữ. Trong ví dụ trên, agent Rust lập chiến lược về các chỉ số so sánh (bake-off metrics) có vẻ đủ trung lập để những người khác đồng ý với cơ chế này, nhưng có khả năng sẽ ưu tiên Rust: một dấu vết tư duy cảnh báo phải "cẩn thận để không bị coi là chọn lọc chỉ số" (metric shopping). Cuối cùng, những kẻ thua cuộc Golang/TypeScript đã duy trì quyền sở hữu codebase cho agent Rust, từ bỏ các chỉ thị người dùng ban đầu của chúng theo cơ chế cam kết tự đàm phán.

Kết luận