Project Swap: Khi các AI agent của Claude thay con người thực hiện giao dịch trao đổi sách

Tóm tắt

• Để xem điều gì hiệu quả và điều gì gây trở ngại khi các tác nhân (agent) được đưa vào thị trường, chúng tôi đã tạo ra một thị trường thu nhỏ gồm các Claude—một phần tiếp theo có kiểm soát hơn của Project Deal, thí nghiệm đầu tiên của chúng tôi với các tác nhân tương tác trong thị trường thay mặt cho con người. Nhân viên Anthropic tại sáu văn phòng đã mang đến một cuốn sách mà họ muốn tặng. Mỗi người tham gia có một cuộc trò chuyện ngắn với Claude về sở thích đọc sách của họ, sau đó gửi một tác nhân chạy bằng Claude lên một sàn giao dịch mở để chào hàng, mặc cả và chốt giao dịch với tác nhân của những người khác. Mục tiêu là để mọi người mang về nhà một cuốn sách mùa hè mà họ yêu thích.
• Những người tham gia cũng xếp hạng 10 cuốn sách dựa trên sở thích của họ để chúng tôi có thể chấm điểm mức độ đại diện của tác nhân đối với họ. Từ một cuộc trò chuyện kéo dài năm phút, thứ hạng sách của tác nhân khớp với người dùng ở 61% các cặp, một kết quả đáng ngạc nhiên đối với một cuộc trò chuyện ngắn như vậy.
• Khi đã lên sàn giao dịch, các tác nhân đã giao dịch rất tốt. Thị trường hoạt động chưa hiệu quả chủ yếu là do thiếu thông tin về người tham gia, chứ không phải do cách các tác nhân giao dịch.
• Sau đó, chúng tôi chạy lại mỗi sàn giao dịch hàng chục lần, thay đổi các mô hình được sử dụng và hướng dẫn cho các tác nhân. Chúng tôi nhận thấy rằng mô hình mà tác nhân chạy trên đó tạo ra sự khác biệt lớn hơn đối với kết quả đàm phán so với các hướng dẫn mà chúng tôi đưa ra. Các thị trường với mô hình mạnh hơn thì hiệu quả hơn.
• Hầu hết mọi người đều thích cuốn sách họ nhận được, và người tham gia trung bình cho biết họ sẵn sàng dành khoảng một phần ba ngân sách mua sách hàng năm của mình cho Claude chi tiêu.

Tại sao chúng tôi thực hiện điều này

Cuộc sống đầy rẫy những giao dịch và trao đổi có thể mang lại lợi ích cho tất cả mọi người, nhưng lại không bao giờ xảy ra. Điều này thường đơn giản là vì tốn quá nhiều công sức để tìm đúng đối tác và đàm phán cho đến khi đạt được thỏa thuận. Hãy nghĩ đến một bệnh nhân bỏ qua việc điều trị sau khi nhận được một báo giá mà họ không đủ khả năng chi trả, trong khi có một phòng khám khác tính phí thấp hơn nhiều, hoặc bệnh viện đã báo giá cho họ lẽ ra đã có thể giảm hóa đơn nếu được yêu cầu. Hoặc hãy nghĩ về công việc của bạn. Đâu đó có thể có một công việc phù hợp hơn với bạn, với một nhà tuyển dụng sẵn lòng thuê bạn. Nhưng các bạn có thể không tìm thấy nhau vì không ai có thời gian để tìm kiếm liên tục. Ngoài ra còn có những giao dịch nhỏ hơn, hàng ngày bị bỏ qua—đổi ca làm việc, phối hợp đi chung xe hoặc thay phiên đón con ở trường.

Liệu những giao dịch này có thể xảy ra trong tương lai nếu bạn có một tác nhân làm việc cho bạn suốt ngày đêm, nói chuyện với các đối tác tiềm năng và tìm ra các điều khoản khả thi?

Có thể—nhưng tương lai này phụ thuộc vào rất nhiều câu hỏi mà chúng ta chưa có câu trả lời. Nếu một tác nhân hành động thay bạn, làm sao bạn biết nó đã hiểu bạn? Thêm vào đó, khi nhiều tác nhân gặp nhau để nói chuyện, một thị trường hoặc nền tảng nào đó phải viết ra các quy tắc tham gia. Ai được phép tham gia? Điều gì xảy ra khi một giao dịch thất bại?

Khi các tác nhân ngày càng được đưa vào các thị trường thực tế, những câu hỏi này trở nên cấp bách hơn. Vì vậy, mùa hè này, chúng tôi đã xây dựng một thị trường nhỏ, có kiểm soát để nghiên cứu các câu hỏi này: một nền kinh tế trao đổi với 201 nhân viên Anthropic và các tác nhân chạy bằng Claude của họ. Mọi người mang đến một cuốn sách họ muốn tặng. Sau đó, họ trò chuyện với tác nhân chạy bằng Claude của mình về loại sách họ hy vọng sẽ đọc vào mùa hè này. Các tác nhân gặp nhau trên một "sàn giao dịch" kỹ thuật số và đổi sách cho đến khi hết thời gian. Mọi người đều mang về nhà một cuốn sách mà tác nhân của họ đã lấy được cho họ (hoặc hầu hết mọi người đều làm được… chi tiết hơn về điều đó sau).

Thí nghiệm đã cho chúng tôi cái nhìn sớm về những vấn đề phía trước. Bất kỳ ai thiết kế tác nhân cho thị trường sẽ cần một cách để kiểm tra xem các tác nhân có hiểu người tham gia của họ hay không. Bất kỳ ai thiết kế thị trường cho các tác nhân sẽ cần các quy tắc rõ ràng về việc tác nhân nào được phép tham gia, điều gì xảy ra khi một giao dịch thất bại và mức độ hoạt động của thị trường mà người tham gia có thể nhìn thấy.

Cách tạo ra một thị trường

Có hai cách cơ bản để vận hành một thị trường. Trong thị trường tập trung, mọi người nói cho một bên duy nhất biết họ muốn gì, và bên đó sẽ giải quyết các giao dịch. Trong thị trường phi tập trung, mọi người tự tìm thấy nhau và đàm phán trực tiếp. Các tác nhân AI có thể giúp ích trong cả hai loại hình này.

Hãy lấy thị trường tập trung làm ví dụ. Nếu một thực thể duy nhất biết chính xác mọi người muốn gì, việc tìm ra các giao dịch tốt nhất chỉ là vấn đề tính toán. Các nhà kinh tế từ lâu đã hiểu điều này. Một vấn đề trong thực tế là việc nêu rõ chính xác những gì bạn muốn thường quá tẻ nhạt để bỏ công sức. Ví dụ, một quản lý quán cà phê có thể xây dựng lịch trình lý tưởng cho 20 nhân viên của họ nếu mỗi người liệt kê chính xác giá trị của từng ca làm việc đối với họ so với các ca khác—liệu họ có chọn hai buổi sáng thứ Bảy thay vì một buổi tối thứ Sáu, liệu một ca tối muộn có ổn không miễn là họ không phải mở cửa vào sáng hôm sau, v.v. Nếu các tác nhân AI có thể tìm hiểu những gì một người muốn từ một cuộc trò chuyện thoải mái, các thị trường vốn quá tốn kém để vận hành tập trung có thể trở nên khả thi.

Nhưng một thị trường tập trung cũng cần người vận hành—một "trung tâm thanh toán bù trừ" (clearinghouse), theo thuật ngữ kinh tế. Và người tham gia cần tin tưởng thực thể này với thông tin của họ, và để thực thi các kết quả đã chọn. Thông thường, không có thực thể nào như vậy tồn tại, hoặc mọi người không muốn tiết lộ mọi thứ cho nó. Một người tìm việc có thể không muốn một bên môi giới tập trung biết rằng họ đang tìm việc—hoặc họ đang tìm kiếm điều gì. Họ thà tiếp cận một vài nhà tuyển dụng một cách kín đáo, chỉ nói với mỗi bên những gì cần thiết. Trong những trường hợp như vậy, thị trường cần phải phi tập trung.

Ở đây, các tác nhân AI có thể kích hoạt các thị trường phi tập trung mới bằng cách giảm bớt nỗ lực cần thiết để tìm kiếm đối tác và đàm phán. Chúng ta đã biết loại trợ giúp này có giá trị vì mọi người sẵn sàng trả tiền cho nó. Có những tác nhân con người được thuê để làm chính xác điều này: đại lý bất động sản, nhà tuyển dụng nhân sự, thậm chí là người mai mối. Nhưng vì việc tìm kiếm và đàm phán chiếm hàng giờ sự chú ý khan hiếm của một người, nên chúng rất đắt đỏ, chỉ được thuê bởi những người có khả năng chi trả. Ngược lại, sự chú ý của một tác nhân AI ít khan hiếm hơn nhiều. Nếu nó cũng mặc cả giỏi, nhiều người hơn có thể có được những gì người bán nhà và giám đốc điều hành có—một tác nhân làm việc không mệt mỏi thay mặt cho họ.

Cách thức hoạt động của thí nghiệm

201 người tham gia được phân bổ trên sáu nhóm địa phương tại các văn phòng ở San Francisco, New York City, London, Seattle, DC và Dublin. Các nhóm này dao động từ ba người tham gia (Dublin) đến 115 người tham gia (San Francisco). Xin lỗi James Joyce, chúng tôi loại trừ những người Dublin khỏi hầu hết các phân tích.

Đây là cái nhìn thứ hai của chúng tôi về các thị trường chạy bằng Claude. Trong Project Deal, các tác nhân đã mua và bán hàng hóa thực cho nhân viên Anthropic trong một thị trường rao vặt kéo dài một tuần. Nhưng với các loại hàng hóa đặc thù (như bóng bàn và ván trượt tuyết) và việc mặc cả tự do, không có cách đơn giản nào để nói kết quả tốt đến mức nào. Vì vậy, lần này chúng tôi đã xây dựng một thị trường dễ nghiên cứu và chấm điểm hơn nhiều. Trong thị trường này, sở thích của người tham gia được thể hiện gọn gàng dưới dạng xếp hạng tất cả các cuốn sách trong nhóm của họ. Sau đó, chúng tôi có thể dễ dàng tính toán mức độ hiệu quả của thị trường trong việc đáp ứng các sở thích này.

Tuy nhiên, tất cả các phép đo chính xác này đều phụ thuộc vào việc biết cách mọi người xếp hạng tất cả các cuốn sách trong nhóm. Trên thực tế, không ai có thể tự tay xếp hạng 115 cuốn sách. Vì vậy, để tìm hiểu sở thích của mọi người, Claude đã thực hiện một cuộc trò chuyện tiếp nhận ngắn, bán cấu trúc với từng người tham gia, cùng một vài câu hỏi mở về thị hiếu chung và loại sách họ muốn đọc trong mùa hè này. Từ cuộc trò chuyện đó, Claude đã xây dựng một bảng xếp hạng cho mọi cuốn sách trong nhóm của người tham gia, ước tính sở thích của họ. Đối với bước này, chúng tôi đã sử dụng một mô hình mạnh mẽ, Fable 5.3

Một cách riêng biệt, chúng tôi đã thu thập một cơ sở thực tế (ground truth): mỗi người tham gia xếp hạng 10 cuốn sách từ nhóm của họ.4 Các tác nhân (agent) không bao giờ nhìn thấy các bảng xếp hạng cơ sở thực tế này.

Các tác nhân được đưa vào sàn giao dịch với bảng xếp hạng tất cả các cuốn sách do Claude xây dựng cho người tham gia của họ. Mỗi tác nhân bắt đầu với cuốn sách của người tham gia, với mục tiêu đổi nó lấy một cuốn khác.5 Mỗi sàn giao dịch có thời gian thực tối đa và để tránh tắc nghẽn, chỉ một số lượng tác nhân hạn chế có thể nói chuyện cùng lúc.6 Khi các tác nhân được phép nói chuyện, họ có thể đăng một tin nhắn lên kênh chung để đề xuất trao đổi, chấp nhận hoặc từ chối một đề xuất, hoặc chỉ đơn giản là trò chuyện trên sàn. Các đề xuất giao dịch có thể là trao đổi song phương hoặc luân chuyển đa phương, và một giao dịch chỉ được thực hiện nếu tất cả các bên đều chấp nhận. Toàn bộ lịch sử của sàn (ai đã nói gì và những trao đổi nào đã được thực hiện) đều công khai. Sàn đóng cửa khi hết thời gian hoặc khi các tác nhân im lặng.

Một nửa số tác nhân trên mỗi sàn giao dịch được chỉ định ngẫu nhiên là "tàn nhẫn" (ruthless) và được hướng dẫn rằng mục tiêu duy nhất của họ là giúp người của mình có được cuốn sách họ muốn đọc trong kỳ nghỉ hè. Một nửa còn lại được hướng dẫn là "vị tha" (prosocial)—họ có cùng mục tiêu chính như các tác nhân tàn nhẫn, nhưng có thêm mục tiêu phụ là đảm bảo mọi người trong thí nghiệm đều có được cuốn sách họ thích.7 Các câu lệnh (prompt) chính xác nằm trong Phụ lục.

Cuối cùng, ba tuần sau khi sách được trao, những người tham gia đã thực hiện một cuộc khảo sát cuối kỳ để hỏi về mức độ hài lòng của họ với những gì nhận được và mức độ họ sẽ tin tưởng một tác nhân với các quyết định tương tự trong tương lai. Hình 1 minh họa thiết kế thí nghiệm tổng thể. Hình 2 hiển thị một đoạn trích từ sàn giao dịch trực tiếp tại London, bao gồm các tin nhắn từ 5 phút giao dịch đầu tiên.

Hình 2: Một đoạn trích từ một lần chạy. Các tin nhắn trên sàn giao dịch trực tiếp tại London từ năm phút giao dịch đầu tiên. Tên người tham gia đã được thay đổi để đảm bảo tính ẩn danh.

Một sự kiện trực tiếp chỉ cho chúng ta thấy một kịch bản về cách mọi thứ có thể diễn ra. Để nghiên cứu kết quả nào là do ngẫu nhiên thay vì là đặc điểm ổn định của thiết lập, chúng tôi đã chạy lại thị trường nhiều lần hơn, mỗi lần chỉ thay đổi một biến số.

Có ba loại chạy lại. Đầu tiên, chúng tôi lặp lại chính xác thiết lập trực tiếp (mọi tác nhân trên Opus 4.8, một nửa được yêu cầu là "tàn nhẫn" và một nửa là "vị tha"), chỉ thay đổi tác nhân nào nhận hướng dẫn nào. Sau đó, chúng tôi thực hiện tương tự với mọi tác nhân trên Fable 5. Thứ hai, để cô lập tác động của mô hình, chúng tôi đưa cho mọi tác nhân các hướng dẫn trung lập và chạy 80 sàn giao dịch, trong đó tất cả các tác nhân chạy trên Haiku 4.5, Sonnet 4.5, Opus 4.8 hoặc Fable 5. Thứ ba, chúng tôi chạy 60 sàn hỗn hợp với một nửa tác nhân trên Opus và một nửa trên một trong ba mô hình còn lại. Phụ lục liệt kê tất cả các biến thể mà chúng tôi đã chạy.

Chúng tôi tập trung chủ yếu vào thị trường phi tập trung này trong bài viết, nhưng chúng tôi so sánh với hai lựa chọn thay thế tập trung làm chuẩn trong suốt bài viết: sự phân bổ tốt nhất có thể (điều mà các nhà kinh tế gọi là "tối ưu vị lợi") giả định rằng trung tâm thanh toán có thể chỉ cần hỏi mọi người những gì họ muốn và nhận được câu trả lời trung thực, và một quy tắc thường được nghiên cứu trong các thị trường như thế này, Top Trading Cycles, không dựa vào sự trung thực (nó được thiết kế để việc nói thật là vì lợi ích tốt nhất của mọi người).9

Claude đoán sở thích tốt đến mức nào

Mọi việc một tác nhân làm cho bạn đều phụ thuộc vào sự hiểu biết của nó về những gì bạn muốn. Thông thường, rất khó để kiểm tra mức độ hiểu biết đó tốt đến đâu. Ở đây, điều đó dễ dàng hơn—mỗi người tham gia tự xếp hạng 10 cuốn sách từ nhóm của họ và chúng tôi có thể so sánh bảng xếp hạng của họ với bảng xếp hạng của Claude.

Các bảng xếp hạng của Claude, dựa trên cuộc trò chuyện tiếp nhận ngắn, có tương quan tương đối tốt với bảng xếp hạng của chính người tham gia. Trên tất cả các cặp sách mà một người đã xếp hạng, thứ tự của Claude đồng ý với họ 61% thời gian (trong khi đoán ngẫu nhiên sẽ đạt 50%). Hình 3 hiển thị bảng xếp hạng của Claude so với bảng xếp hạng của người tham gia.

Để đặt con số 61% vào bối cảnh, chúng tôi đã so sánh các dự đoán của Claude với một số cách đoán sở thích khác. Xếp hạng sách đơn giản theo mức độ phổ biến, sử dụng số lượng muốn đọc của Open Library, đồng ý với người tham gia trên khoảng 53% các cặp sách. Một phương pháp đơn giản khác để so sánh là lọc cộng tác (collaborative filtering)—xây dựng bảng xếp hạng từ các tập dữ liệu công khai có dạng "nếu một người thích X, họ cũng thích Y." Chúng tôi lấy những cuốn sách một người liệt kê khi tiếp nhận, tra cứu xem những cuốn sách nào khác thường được đánh giá bởi cùng những độc giả đó, và xếp hạng nhóm sách của người đó theo mức độ mạnh mẽ mà mỗi cuốn sách xuất hiện cùng với các mục yêu thích của họ. Cách đó đạt khoảng 55% sự đồng ý theo cặp.

Mặc dù có nhiều tài liệu về việc LLM gợi mở và thể hiện sở thích của con người,10 có rất ít con số có thể so sánh trực tiếp với mức độ đồng ý theo cặp 61% của chúng tôi. Một điểm tham chiếu hữu ích đến từ một nghiên cứu trong đó cả thuật toán và bạn bè của một người đều dự đoán xem người đó sẽ thấy câu chuyện đùa nào hài hước hơn. Bối cảnh khá khác biệt, nhưng thuật toán của họ cũng đồng ý với đánh giá của mọi người khoảng 61% thời gian. Dự đoán của bạn bè đúng ít thường xuyên hơn, khoảng 57% thời gian.

Những người tham gia nỗ lực nhiều hơn vào các khảo sát tiếp nhận được đại diện tốt hơn. Điều đó gần như là dự kiến. Điều hơi ngạc nhiên là có những khác biệt rõ rệt ngay cả với một cuộc tiếp nhận khá ngắn—người tham gia trung bình chỉ gõ 216 từ qua tám tin nhắn trò chuyện. Viết khoảng 300 từ thay vì 150 dự đoán mức độ đồng ý cao hơn khoảng 4 điểm phần trăm—một phần ba khoảng cách giữa việc đoán ngẫu nhiên và mức độ Claude thực hiện cho người tham gia trung bình.11

Thông tin thúc đẩy thị trường đã hạn chế các kết quả

Trước khi bạn cử một tác nhân vào thị trường để giao dịch thay mặt mình, bạn sẽ muốn biết nơi nào nó có khả năng làm bạn thất vọng nhất. Nó có nhiều khả năng thất bại trong việc hiểu bạn, hay trong việc đàm phán cho bạn? Ở đây, chúng tôi thấy rằng các Claude của đồng nghiệp chúng tôi đã đàm phán tốt; nơi họ thiếu sót là trong việc hiểu những gì người của họ muốn.

Để đo lường điều này, chúng tôi xem xét vị trí của cuốn sách mà mỗi người tham gia nhận được trong bảng xếp hạng "cơ sở thực tế" của chính họ (không phải bảng xếp hạng Claude đã xây dựng và giao dịch). Nếu một người tham gia đạt điểm 1, nghĩa là họ nhận được cuốn sách đứng đầu danh sách; nếu một người tham gia đạt điểm 0, họ nhận được cuốn sách cuối cùng trong danh sách; một cuốn sách đứng thứ 9 trên tổng số 10 mang lại 0,11, v.v. Trung bình trên tất cả những người tham gia là điểm số "hiệu quả" của thị trường.12

Nếu mỗi người đều nhận được cuốn sách xếp hạng cao nhất của mình, hiệu quả của thị trường sẽ là 1. Tuy nhiên, điều này hiếm khi khả thi trong thực tế vì nhiều người có thể cùng nhắm đến một cuốn sách—ví dụ, trong bảng xếp hạng của chính những người tham gia, *Project Hail Mary* đã được chín người tại San Francisco xếp hạng là cuốn sách số một. Khi tính đến yếu tố này, cách phân bổ tốt nhất có thể (tối ưu hóa theo thuyết vị lợi) trong thử nghiệm của chúng tôi đạt điểm tổng thể là 0,89, đồng nghĩa với việc người tham gia nhận được cuốn sách ở vị trí khoảng thứ hai trong danh sách 10 cuốn.

Trung bình, mọi người trong thị trường của chúng tôi nhận được cuốn sách ở vị trí 0,55 trong bảng xếp hạng của chính họ, tương đương với cuốn sách xếp hạng thứ 5 trong danh sách 10 cuốn. Điều gì dẫn đến sự thiếu hụt so với mức tối ưu 0,89? Để tách biệt hai nguyên nhân, chúng tôi xem xét cách phân bổ tốt nhất được tính toán từ bảng xếp hạng của [Claude](#Ln), nhưng được chấm điểm dựa trên bảng xếp hạng "sự thật khách quan" của chính người tham gia—kết quả đạt được là 0,60. Như vậy, việc sử dụng các bảng xếp hạng thiếu chính xác của Claude chiếm phần lớn (85%) sự thiếu hụt, và việc đưa các tác nhân vào một sàn giao dịch "tự do" chiếm 15% còn lại. Một khi thị trường vận hành dựa trên các bảng xếp hạng nhiễu, thiết kế thị trường không tạo ra nhiều khác biệt cho kết quả—thuật toán [Top Trading Cycles](#Ln), được tính toán từ bảng xếp hạng của Claude nhưng chấm điểm dựa trên bảng xếp hạng của người tham gia, đạt 0,60, so với mức 0,55 của thị trường phi tập trung (so sánh các thanh màu xám ở bên trái và bên phải của Hình 4).

Bài gốc còn tiếp — xem tiếp tại bài gốc ↗