Công cụ phát hiện văn bản AI 'bó tay' khi mô hình ngôn ngữ bắt chước phong cách tác giả

Các công cụ phát hiện văn bản AI phổ biến có thể nhận diện văn bản do AI tạo ra thông thường với độ chính xác gần như hoàn hảo. Tuy nhiên, khi các mô hình ngôn ngữ cố tình sao chép phong cách viết của một tác giả cụ thể, cứ năm văn bản AI thì có một văn bản lọt lưới mà không bị phát hiện. Văn bản khoa học là lĩnh vực mà các công cụ phát hiện này thất bại nặng nề nhất.

Một nhóm nghiên cứu từ Epoch AI đã thử nghiệm ba trong số các công cụ phát hiện văn bản AI được sử dụng rộng rãi nhất: Pangram (phiên bản 3.3.2), GPTZero (mô hình 2026-05-11-base) và Originality.ai (Turbo 3.0.2). Thử nghiệm bao gồm ba danh mục: văn bản do con người viết thực sự, văn bản AI tạo ra từ các câu lệnh đơn giản và văn bản AI cố tình bắt chước phong cách của một tác giả cụ thể.

Nhóm nghiên cứu đã xây dựng một kho dữ liệu gồm 495 đoạn văn bản của con người từ 99 tác giả, được chia đều cho các thể loại blog, tiểu thuyết và văn bản khoa học. Tất cả các văn bản này đều được viết trước khi ChatGPT ra mắt vào tháng 11 năm 2022, điều này giúp loại bỏ hoàn toàn khả năng bị nhiễm dữ liệu từ các mô hình ngôn ngữ.

Khi xử lý văn bản do AI tạo ra thông thường, cả ba công cụ phát hiện đều hoạt động gần như hoàn hảo, với tỷ lệ âm tính giả cao nhất chỉ ở mức 0,7%. Các văn bản của con người cũng được phân loại chính xác trong hầu hết các trường hợp. Pangram và GPTZero không đưa ra bất kỳ cảnh báo sai nào. Tuy nhiên, Originality.ai đã gắn cờ 19 trong số 495 đoạn văn bản của con người là do AI tạo ra, một tỷ lệ dương tính giả đáng lo ngại ở mức 3,8%.

Bắt chước phong cách làm giảm tỷ lệ phát hiện

Kết quả đó thay đổi khi các mô hình ngôn ngữ nhận được các mẫu văn bản từ một tác giả làm tài liệu tham khảo. Đối với thử nghiệm này, ba mô hình tiên phong (Claude Opus 4.8, GPT-5.5 và Gemini 3.1 Pro) mỗi mô hình nhận được năm đoạn văn bản thực từ một tác giả và được yêu cầu viết văn bản mới theo cùng phong cách đó.

Trong số 297 đoạn văn bản được tạo ra theo cách này, trung bình có 38 đoạn không bị phát hiện, theo Epoch AI, tương đương với tỷ lệ âm tính giả khoảng 13%. Pangram bỏ lỡ 10% các văn bản bắt chước phong cách, GPTZero bỏ lỡ 11% và Originality.ai bỏ lỡ 18%.

Đối với tiểu thuyết, tỷ lệ âm tính giả trên tất cả các công cụ phát hiện chỉ nằm trong khoảng từ 1 đến 5%. Tuy nhiên, văn bản khoa học lại cho thấy một kết quả rất khác. Pangram không phát hiện được 25% các văn bản học thuật do AI tạo ra theo phong cách bắt chước, GPTZero bỏ lỡ 24% và Originality.ai bỏ lỡ 29%.

Những kết quả cá biệt tồi tệ nhất xuất hiện ở các tổ hợp mô hình-thể loại cụ thể trong văn bản khoa học. Theo dữ liệu được công bố, Pangram đã bỏ lỡ 48% các đoạn văn bản học thuật do Gemini tạo ra. Tại Originality.ai, 39% các văn bản học thuật của GPT-5.5 không bị phát hiện.

Phương pháp khác nhau, điểm mù giống nhau

Pangram sử dụng một mạng thần kinh được huấn luyện trên văn bản do con người và máy tạo ra, mặc dù người sáng lập của nó gọi hệ thống này là một "hộp đen" vì các phán quyết của nó không thể truy xuất nguồn gốc. GPTZero đo lường mức độ dễ dự đoán của các lựa chọn từ ngữ và mức độ thay đổi của chúng trong một văn bản, dựa trên ý tưởng rằng các mô hình ngôn ngữ viết đồng nhất hơn con người. Originality.ai tìm kiếm các mô hình thống kê mà nó đã học được trong quá trình huấn luyện trên văn bản do con người và AI tạo ra.

Bất chấp những khác biệt này, cả ba công cụ phát hiện đều cho thấy cùng một mô hình. Chúng bắt được văn bản từ các câu lệnh đơn giản gần như mọi lúc nhưng lại bỏ lỡ các bản bắt chước thường xuyên hơn nhiều. Văn bản khoa học, thể loại mà việc phát hiện AI có lẽ được sử dụng nhiều nhất trong thực tế, vẫn là loại khó gắn cờ chính xác nhất.

Một thử nghiệm trước đó của Authors Guild cho thấy Pangram và Originality.ai phân loại văn bản của con người là do con người viết một cách đáng tin cậy. Nghiên cứu của Epoch AI đã hoàn thiện nửa còn lại của bức tranh đó: tỷ lệ báo động giả thấp đối với văn bản của con người không nói lên nhiều điều về việc có bao nhiêu văn bản AI thực sự lọt lưới.

Tin tức AI không cường điệu – Được tuyển chọn bởi con người

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo tiên phong "AI Radar" độc quyền sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và quyền truy cập vào phần bình luận của chúng tôi.

Đăng ký ngay