Độc giả đánh giá truyện ngắn AI cao hơn người viết, cho đến khi biết sự thật

Trong thí nghiệm đầu tiên, mỗi người trong số 1.682 người tham gia đã đọc một trong sáu truyện ngắn, mỗi truyện dài khoảng 1.000 từ. Ba truyện được lấy từ các tạp chí văn học và tuyển tập truyện ngắn nổi tiếng. Ba truyện còn lại được tạo ra bằng ChatGPT 4.0, với các câu lệnh (prompt) dựa trên chủ đề, phong cách và góc nhìn trần thuật của các tác phẩm gốc do con người viết.

Một nửa số người tham gia được thông báo rằng câu chuyện do con người viết. Nửa còn lại được thông báo rằng nó đến từ ChatGPT. Theo các nhà nghiên cứu Sydney Sears và Deena Skolnick Weisberg trong nghiên cứu được công bố trên tạp chí Judgment and Decision Making, thông tin đó chỉ chính xác với một nửa số người tham gia trong mỗi nhóm.

Các câu chuyện của ChatGPT được đánh giá cao hơn đáng kể so với các văn bản do con người viết về cả chất lượng cảm nhận lẫn độ nhập tâm. Về chất lượng, điểm trung bình cho các câu chuyện của AI là 1,54 so với 0,97 của các câu chuyện do con người viết trên thang điểm từ âm 3 đến dương 3. Về độ nhập tâm, khoảng cách này là 1,42 so với 1,00.

Thái độ của chính người tham gia đối với AI cũng định hình cách họ chấm điểm. Bất kể ai thực sự là người viết câu chuyện, người tham gia đều cho điểm cao hơn khi được thông báo rằng tác giả là con người.

Những người tham gia có thái độ tích cực đối với AI thường đưa ra đánh giá cao hơn trên mọi phương diện. Khi họ được thông báo rằng câu chuyện đến từ ChatGPT, điểm số của họ thậm chí còn tăng cao hơn nữa. Trong số những người tham gia hoài nghi về AI, hiệu ứng này lại đảo ngược. Một nghiên cứu trước đó về các bài thơ do AI tạo ra cũng cho thấy sự thiên kiến tương tự.

Trong hai thí nghiệm khác với tổng cộng 905 người tham gia, các nhà nghiên cứu đã làm cho nhiệm vụ trở nên khó khăn hơn. Mỗi người đọc cả một câu chuyện do con người viết và một câu chuyện do AI tạo ra, sau đó phải tìm ra đâu là tác phẩm của ai. Ngay cả khi so sánh trực tiếp, kết quả của người tham gia cũng không tốt hơn việc đoán ngẫu nhiên.

Kinh nghiệm tự báo cáo về các hệ thống AI có tương quan thuận với khả năng xác định chính xác nguồn gốc của các câu chuyện. Ngược lại, kinh nghiệm tự báo cáo về văn học hư cấu lại không giúp người tham gia phân biệt được chúng.

Điểm đánh giá cao hơn không nhất thiết có nghĩa là văn bản tốt hơn.

Các văn bản do AI tạo ra có xu hướng mượt mà, dễ đọc và mang tính lạc quan về cảm xúc hơn so với các văn bản do con người viết. Theo các tác giả, những đặc điểm này có thể giải thích cho việc tại sao chúng nhận được đánh giá cao hơn mà không nhất thiết là các câu chuyện của AI thực sự tốt hơn về mặt văn học. Mọi người có xu hướng ưa chuộng những nội dung dễ xử lý hơn.

Ngược lại, văn học hư cấu chất lượng cao thường cố tình khó tiếp cận và thúc đẩy độc giả phải nỗ lực để tìm kiếm ý nghĩa. Các nhà nghiên cứu cho rằng một câu chuyện có thể có chất lượng cao nhưng không quá hấp dẫn, và ngược lại.

Định dạng truyện ngắn cũng có khả năng mang lại lợi thế cho AI. Việc kể một câu chuyện mạch lạc trong 1.000 từ là một thử thách rất khác so với việc thực hiện điều đó trên hàng trăm trang sách. Tuy nhiên, kết luận của các nhà nghiên cứu rất rõ ràng: AI có thể tạo ra các tác phẩm sáng tạo mà mọi người cảm nhận là ít nhất ngang bằng với tác phẩm của con người, mặc dù mọi người không tin rằng AI có khả năng làm được điều đó.

Tất cả dữ liệu và tài liệu từ nghiên cứu đều được cung cấp miễn phí trên Open Science Framework.

Một nghiên cứu vào tháng 10 năm ngoái của Đại học Stony Brook và Trường Luật Columbia cho thấy chuyên môn của độc giả chỉ quan trọng đến một mức độ nhất định. Với các câu lệnh đơn giản, những độc giả chuyên nghiệp rõ ràng ưa chuộng các văn bản do con người viết hơn. Nhưng khi các mô hình được huấn luyện cụ thể dựa trên phong cách của từng tác giả, các chuyên gia lại ưa chuộng các văn bản do AI tạo ra nhiều hơn gấp tám lần về mặt bắt chước phong cách và gấp hai lần về chất lượng viết.