Sai lầm lớn nhất của Pangram: Biến điểm số AI thành công cụ bêu rếu công khai

Pangram đã thuê một "chó săn" để bêu rếu mọi người trên mạng xã hội vì sử dụng AI. Hai câu hỏi bị đánh tráo trong quá trình này là: liệu AI có được sử dụng hay không và nó được sử dụng như thế nào. Những "thợ săn AI" cáo buộc mục tiêu của họ là không tự suy nghĩ hoặc tự làm việc, một khẳng định về cách thức (how). Nhưng công cụ của họ chỉ đo lường (một cách tương đối) về sự hiện diện (whether).

Theo WIRED, nhà báo Rod Breslau đã đề nghị cung cấp dịch vụ cho nhà sáng lập Spero của Pangram vào đầu năm nay vì anh đã quá chán nản khi thấy nội dung do AI tạo ra tràn lan trên mạng xã hội. Breslau đã tư vấn cho Pangram về chiến lược mạng xã hội trong khi tích cực săn lùng những người bị nghi ngờ sử dụng AI. "Tôi muốn áp dụng một cách tiếp cận cứng rắn hơn vì tôi nghĩ rằng mọi người đang được bỏ qua quá dễ dàng," Breslau chia sẻ với WIRED.

Lý do cho chiến dịch của Breslau xuất phát từ quan điểm cá nhân của anh. "Ai cũng tự xưng là người dẫn đầu trong lĩnh vực của mình và họ xây dựng toàn bộ thương hiệu cá nhân xung quanh điều đó trên Twitter và LinkedIn — bạn có các giám đốc điều hành, các CEO công nghệ," Breslau nói trong một cuộc phỏng vấn trước đó với GamesBeat. "Nếu bạn là một trong những người này, bạn nên tự viết bài đăng của mình. Và nếu bạn không tự viết bài trên mạng xã hội, thì tôi, hoặc bất kỳ ai khác, nên chế giễu bạn."

Pangram sau đó đã cắt đứt quan hệ với anh khi công ty thay đổi định hướng. Spero nói với WIRED rằng hiện tại công ty cho rằng việc sử dụng AI sẽ ngày càng được chấp nhận rộng rãi hơn và họ muốn phát hiện ngay cả những chỉnh sửa AI nhỏ nhất, định vị mình là cơ quan có thẩm quyền hàng đầu về kiểm tra tính nguyên bản trong xuất bản, giáo dục và hơn thế nữa. Nhưng ngay cả sau khi loại bỏ Breslau, CEO Max Spero vẫn tiếp tục công khai chấm điểm và gọi tên mọi người dựa trên kết quả của Pangram, hay theo cách anh ấy diễn đạt, là buộc mọi người phải chịu trách nhiệm khi họ bị cho là cố gắng che giấu việc sử dụng AI.

Mô hình kinh doanh của Pangram phụ thuộc vào việc mọi người đánh đồng việc sử dụng AI với sự lười biếng hoặc không trung thực, bởi vì nếu sự kỳ thị đó phai nhạt, sẽ có ít lý do hơn để trả tiền cho các công cụ phát hiện.

Pangram phát hiện sự can thiệp của AI, chứ không phải quyền tác giả của AI.

Nhưng bất kỳ điểm số phát hiện nào, ngay cả khi chính xác tuyệt đối (và theo thử nghiệm của tôi, Pangram thường không chính xác như vậy, như sẽ thảo luận dưới đây), cũng chỉ cho thấy liệu AI có khả năng đã tham gia hay không. Liệu ai đó có tạo ra toàn bộ văn bản từ một câu lệnh (prompt)? Liệu AI có đóng vai trò là đối tác tư duy? Liệu nó có giúp ích về cách diễn đạt? Hay tác giả chỉ đơn giản chạy văn bản của chính mình qua AI để trau chuốt ngôn ngữ hoặc dịch thuật? Điểm số không thể trả lời được những điều đó.

Nhưng "sự bêu rếu của Pangram" ngụ ý rằng bất kỳ sự can thiệp nào của AI cũng có nghĩa là người viết không suy nghĩ hoặc không quan tâm. Một điểm số cao có thể đánh vào một văn bản mà ai đó đã dành hàng giờ để lấp đầy bằng nghiên cứu và lập luận nguyên bản cũng dễ dàng như một văn bản được tạo ra trong mười giây. Pangram không thể phân biệt được sự khác biệt đó. Để làm được điều đó, nó phải theo dõi quá trình viết diễn ra.

Ví dụ điển hình: Phiên bản tiếng Anh của bài viết này, phiên bản mà bạn đang đọc ngay lúc này, là bản dịch từ bản gốc tiếng Đức của tôi, được soạn thảo bằng AI và sau đó được chỉnh sửa bằng tay và bằng AI. Pangram chấm nó ở mức "28% AI", gắn cờ các đoạn cuối là do AI viết. Nhưng mọi phần đều được tạo và chỉnh sửa theo cùng một cách, với mức độ can thiệp của AI tương đương và chắc chắn là cùng một ý định của con người.

Những cảnh sát AI tự phong như Breslau hay Spero vẫn sẽ sử dụng điểm số đó để khẳng định đoạn cuối đến từ AI và không phản ánh tư duy của tôi. Tệ hơn nữa: những người tại các tổ chức học thuật từ chối các bài báo dựa trên điểm số phần trăm như thế này. Nhiều bài báo trong số đó đến từ các nhà nghiên cứu viết bằng ngôn ngữ thứ hai hoặc những người đơn giản là giỏi về khoa học hơn là văn chương, và họ sử dụng AI để giúp diễn đạt kết quả của mình rõ ràng hơn. Nếu bị sử dụng theo cách này, Pangram sẽ trừng phạt họ vì đã cải thiện công việc của mình.

Có một sự tương đồng trong lịch sử đáng để xem xét. Alexandre Dumas đã có những trợ lý như Auguste Maquet viết bản thảo thô cho các tiểu thuyết của ông và sau đó chính ông là người tinh chỉnh lại, bao gồm cả những tác phẩm kinh điển như Ba chàng lính ngự lâm. Chất lượng đến từ ý tưởng ban đầu và sự trau chuốt ở phần cuối. Một công cụ phát hiện AI nếu áp dụng cho Dumas sẽ gắn cờ "sử dụng Maquet" và bỏ lỡ tất cả những gì làm nên giá trị cho các cuốn sách của ông.

Tin tức AI không cường điệu – Được tuyển chọn bởi con người.

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo độc quyền "AI Radar" sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và quyền truy cập vào phần bình luận của chúng tôi.

Đăng ký ngay.