Discord thừa nhận AI kiểm duyệt lỗi, khóa nhầm hơn 8.000 tài khoản vô tội

Discord đã thừa nhận rằng một lỗi trong hệ thống kiểm duyệt AI của họ đã khiến hơn 8.000 người dùng bị cấm nhầm trong hai tháng qua, sau khi các hình ảnh vô hại—bao gồm bảng tính, bàn cờ, kết cấu trò chơi (game textures), cũng như các hình nền trong suốt màu trắng và xám—bị gắn cờ sai là nội dung độc hại.

Công ty xác nhận rằng vấn đề này đã ảnh hưởng đến các tài khoản từ tháng 5, với thêm 200 người dùng bị cấm vào cuối tuần trước khi đội ngũ của họ xác định và khắc phục sự cố. Tất cả các tài khoản bị ảnh hưởng hiện đang trong quá trình được khôi phục.

Sự cố này làm nổi bật một trong những thách thức ngày càng tăng xung quanh việc kiểm duyệt có sự hỗ trợ của AI, khi nhiều nền tảng ngày càng dựa vào các hệ thống tự động để xác định tài liệu bất hợp pháp hoặc lạm dụng trên quy mô lớn.

Trong một chuỗi bài đăng chi tiết trên X, Discord giải thích rằng hệ thống an toàn tự động của họ hoạt động bằng cách đối chiếu nội dung được tải lên với cơ sở dữ liệu về các tài liệu độc hại đã biết. Mặc dù công nghệ này được thiết kế để phát hiện nội dung bất hợp pháp, công ty thừa nhận rằng đôi khi nó có thể tạo ra các kết quả dương tính giả (false positives). Một kiểm duyệt viên là con người sẽ xem xét nội dung, nhưng một lỗi đã khiến hệ thống ngay lập tức cấm các tài khoản bị ảnh hưởng.

"Chúng tôi đang nỗ lực xây dựng các biện pháp bảo vệ tốt hơn để điều này không thể xảy ra lần nữa," công ty viết.

Các hệ thống của chúng tôi gắn cờ nội dung bằng cách đối chiếu nó với các tài liệu độc hại đã biết. Kiểu đối chiếu tương đồng này có thể tạo ra các kết quả dương tính giả, đó là lý do tại sao một thành viên trong đội ngũ Trust & Safety của chúng tôi luôn xem xét nội dung bị gắn cờ trước khi bất kỳ hành động nào được thực hiện.

Hành vi dự kiến là…

Trên X và Reddit, người dùng cho biết họ đã bị đình chỉ vĩnh viễn chỉ vì tải lên các hình ảnh chứa các mẫu lưới vuông. Một số người dùng suy đoán rằng các công cụ kiểm duyệt AI của Discord đã trở nên nhạy cảm hơn với các mẫu dạng lưới vì trước đây chúng từng được sử dụng trong các nỗ lực che giấu hoặc ngụy trang nội dung NSFW và nội dung bóc lột trẻ em khỏi các hệ thống phát hiện tự động.

Những người dùng bị ảnh hưởng đã bày tỏ sự thất vọng trên mạng xã hội, với một số người lập luận rằng việc cấm tài khoản vĩnh viễn chỉ dựa trên phát hiện tự động có thể gây ra hậu quả nghiêm trọng, đặc biệt là đối với những người dùng dựa vào Discord cho công việc, cộng đồng trò chơi hoặc các kết nối xã hội đường dài.

"Mất tài khoản Discord vì một điều bất công như thế này có thể cực kỳ tàn khốc và ảnh hưởng nghiêm trọng đến người dùng, và mỗi ngày có hàng triệu người dùng bị ảnh hưởng bởi các lệnh cấm sai lầm từ AI. Điều này cần phải chấm dứt," một người dùng X viết.

Tài khoản của tôi đã bị cấm oan khỏi nền tảng của các bạn do một lỗi trong hệ thống automod AI của các bạn khi phát hiện các GAME TEXTURES của tôi là CSAM. Tôi cần lấy lại tài khoản vì tôi là một giám đốc trò chơi và sử dụng Discord cho tất cả các liên lạc của mình. Tôi đã yêu cầu xem xét lại lệnh đình chỉ của mình.@discord @discord_support pic.twitter.com/QfAkCIJo6S

Discord không phải là đơn vị duy nhất đối mặt với các rắc rối kiểm duyệt do hệ thống tự động. Năm ngoái, người dùng Instagram và Facebook Groups đã báo cáo về tình trạng đình chỉ tài khoản hàng loạt không rõ lý do mà nhiều người tin rằng do các hệ thống kiểm duyệt AI gây ra. Mặc dù người dùng chỉ ra tự động hóa là thủ phạm có khả năng nhất, Meta chưa bao giờ công khai xác nhận liệu các lỗi AI có phải là nguyên nhân hay không. Hiện tại, Hội đồng Giám sát (Oversight Board) của Meta đang thúc đẩy sự minh bạch hơn.

Tumblr năm ngoái cũng phải đối mặt với những lời phàn nàn từ người dùng, những người cho biết tài khoản của họ đã bị đình chỉ hàng loạt mà không có lời giải thích rõ ràng.

Khi bạn mua hàng qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể nhận được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập trong biên tập của chúng tôi.

Lauren phụ trách mảng truyền thông, phát trực tuyến, ứng dụng và nền tảng tại TechCrunch.

Bạn có thể liên hệ hoặc xác minh thông tin từ Lauren bằng cách gửi email đến [email protected] hoặc qua tin nhắn mã hóa tại laurenforris22.25 trên Signal.

Xem tiểu sử