Việc Anthropic chèn 'Watermark' vào Claude bị chỉ trích là làm biến dạng văn phong

Khi tôi viết bài tuần này về thông báo của Anthropic rằng tất cả các mô hình Claude trên toàn thế giới sẽ sớm bắt đầu "đóng dấu bản quyền" (watermarking) mọi nội dung chúng tạo ra, bao gồm cả văn bản, để tuân thủ quy định của EU, chúng ta chỉ còn biết suy đoán xem điều này sẽ hoạt động như thế nào. Bởi lẽ, Anthropic thậm chí không đưa ra một mô tả mơ hồ nào về cách thức vận hành của nó — mặc dù tiêu đề của thông báo lại là một sự mỉa mai đến khó tin: "Cách Claude đánh dấu nội dung do AI tạo ra".

Suy đoán ban đầu của tôi là có lẽ họ sẽ ẩn các ký tự Unicode không in được vào trong văn bản. Chỉ là phỏng đoán thôi. Hóa ra đó không phải là cách họ làm. Những gì họ sẽ thực hiện là áp dụng một dạng kỹ thuật giấu tin (steganography), trong đó việc lựa chọn từ ngữ (hoặc các token đầu ra khác) tại thời điểm suy luận (inference) sẽ để lại những dấu vân tay mà sau này, có thể, sẽ được phát hiện theo xác suất.

Ban đầu tôi đoán là "ký tự ẩn" không phải vì tôi không nghĩ đến kỹ thuật lựa chọn từ ngữ theo ngữ nghĩa, mà vì tôi là một kẻ ngốc đã tin vào lời mô tả của Anthropic về những gì họ sẽ làm. Tài liệu hỗ trợ gốc của họ khẳng định:

Khi một mô hình Claude được hỗ trợ tạo ra văn bản, nó sẽ dệt một dấu bản quyền không thể nhận thấy trực tiếp vào chính văn bản đó. Bạn sẽ không nhìn thấy nó, và nó không làm thay đổi ý nghĩa, chất lượng hay khả năng đọc của phản hồi từ Claude.

Họ nói là "không thể nhận thấy" và "không làm thay đổi ý nghĩa, chất lượng hay khả năng đọc". Đó là lời của họ. Không phải là gần như không thể nhận thấy. Không phải là thay đổi nhẹ ý nghĩa, chất lượng hay khả năng đọc. Điều đó nghe có vẻ hợp lý với tôi, vì đó chính xác là những gì tôi muốn — không, là yêu cầu — từ bất kỳ công cụ nào tôi sử dụng cá nhân. Việc một công cụ hy sinh dù chỉ một chút độ rõ ràng, mạch lạc, ý nghĩa, chất lượng... để nhúng các manh mối ẩn vào văn bản nhằm gợi ý nguồn gốc của nó là điều không thể chấp nhận được. Đó là điều tôi đã và sẽ yêu cầu. Và tài liệu hỗ trợ (gốc) của Anthropic khẳng định rõ ràng rằng hệ thống của họ sẽ làm được điều đó. Vì vậy, nếu điều đó là sự thật, tôi không thấy còn cách nào khác ngoài việc ẩn các ký tự không nhìn thấy được vào trong văn bản.

Sai lầm của tôi là đã tin Anthropic rằng hệ thống của họ sẽ không làm sai lệch và hư hỏng ngữ nghĩa của văn bản mà các mô hình của họ tạo ra. Thực tế, đó chính xác là những gì họ dự định làm. Tôi nên đi kiểm tra lại đầu óc mình vì đã tin vào dù chỉ một từ trong tài liệu có tiêu đề "Cách Claude đánh dấu nội dung do AI tạo ra" mà hoàn toàn không giải thích Claude đánh dấu (hoặc sẽ đánh dấu) nội dung do AI tạo ra như thế nào.

Cách thức hoạt động thực tế

Hôm qua, trên một trang web hoàn toàn khác với bài viết gốc "Cách Claude đánh dấu nội dung do AI tạo ra" (bài viết không giải thích bất cứ điều gì về cách nó hoạt động), Anthropic đã xuất bản bài "Cách thức hoạt động của dấu bản quyền văn bản trên Claude", trong đó thực sự giải thích bằng ngôn ngữ bình dân về cách nó sẽ vận hành. Tôi sẽ quay lại với mô tả mới đầy uyển ngữ và hơi gây hiểu lầm của Anthropic ở phần dưới.

Có rất nhiều nghiên cứu về chủ đề này, một số trong đó tôi cũng đã liên kết ở bên dưới. Nhưng mô tả tốt nhất về ý tưởng chung đằng sau kỹ thuật này là một bài luận tương tác của James Padolsey, "Cách thức hoạt động của dấu bản quyền văn bản AI". Đó là một bài đọc cực kỳ thuyết phục, và các yếu tố tương tác minh họa tuyệt vời cho các khái niệm chính. Một tác phẩm đạt điểm A+. Nếu bạn có bất kỳ sự quan tâm nào đến vấn đề này, tôi dám nói rằng bạn phải đọc — và trải nghiệm — bài viết của Padolsey.

Nhưng đây là nỗ lực của tôi trong việc tóm tắt ở mức độ cao cho người không chuyên. Nếu bạn tung một đồng xu N lần và ghi lại kết quả, bạn có thể xác định với một mức độ chắc chắn nhất định liệu đồng xu đó là công bằng hay bị lệch. Các mô hình ngôn ngữ lớn (LLM), trong các phiên bản phổ biến của chúng, là không xác định (non-deterministic). Hỏi cùng một câu hỏi với cùng một mô hình, bạn thường nhận được ít nhất là những câu trả lời hơi khác nhau. Có thể cùng ý nghĩa, nhưng cách diễn đạt khác nhau. Tại mỗi điểm quyết định để tạo ra token tiếp theo, mô hình sẽ đưa ra một lựa chọn. Với các kỹ thuật đóng dấu bản quyền ngữ nghĩa này, chúng đưa ra các lựa chọn khác nhau cho một số token dựa trên danh sách từ ngữ có thể gọi là "xanh" và "đỏ". Tại mỗi điểm quyết định, chúng có khả năng chọn một từ từ danh sách xanh cao hơn một chút so với danh sách đỏ. Điều đó không có nghĩa là chúng không bao giờ chọn từ danh sách đỏ. Chỉ là chúng ít có khả năng chọn hơn so với khi kỹ thuật đóng dấu không được áp dụng. (Giống như cách một đồng xu bị làm lệch 51-49 vẫn sẽ rơi vào mặt "sai" 49 lần trên 100 lần trung bình.)

Các từ hoặc cụm từ được sắp xếp vào danh sách xanh và đỏ một cách xác định ngay lập tức, tại mỗi điểm tạo "token tiếp theo". Vì vậy, đôi khi một từ cụ thể sẽ nằm trong danh sách xanh, và những lần khác nó sẽ nằm trong danh sách đỏ. Một người có khóa bí mật có thể xác định từ đó sẽ nằm trong danh sách nào tại mỗi điểm tạo token (đó là cách dấu bản quyền được phát hiện); những người không có khóa bí mật thì không thể. Điều này có nghĩa là sẽ không bao giờ có một danh sách các từ mà Claude ưu tiên hoặc tránh né.

Với việc tung đồng xu, N càng cao — bạn càng tung nhiều lần — bạn càng có thể tự tin rằng đồng xu đó là công bằng hay bị lệch. Với dấu bản quyền ngữ nghĩa này cũng vậy. Càng nhiều từ trong văn bản, phân tích càng chính xác về việc liệu văn bản đó có phải do một mô hình AI cụ thể tạo ra hay không. Với quá ít lần tung đồng xu, bạn không thể đạt được bất kỳ sự tự tin nào về tính công bằng của đồng xu. Với quá ít từ (hoặc token), không có cách nào để đạt được sự tự tin về việc liệu một chuỗi văn bản có phải do AI tạo ra hay không.

Khi có một chuỗi văn bản để kiểm tra các dấu hiệu của một hệ thống đóng dấu bản quyền cụ thể, nếu có nhiều từ được gắn nhãn xanh hơn và ít từ được gắn nhãn đỏ hơn so với dự kiến, văn bản đó có thể được gắn cờ — với một mức độ tự tin nhất định — là đã được tạo ra, hoặc chỉ đơn giản là được sửa đổi, bởi hệ thống AI áp dụng hệ thống đóng dấu bản quyền bằng khóa bí mật cụ thể đó. Mức độ tự tin trong việc xác định rõ ràng sẽ thay đổi đáng kể dựa trên độ dài của chuỗi văn bản và trọng số ngẫu nhiên được gán cho các từ trong danh sách xanh và đỏ. Nhưng chỉ Anthropic mới có thể xác định liệu văn bản có vẻ như được tạo ra bởi Claude hay không, và Anthropic sẽ chỉ có thể phát hiện các dấu bản quyền do chính Claude áp dụng. Claude không thể phát hiện các tín hiệu dấu bản quyền ẩn do, ví dụ, Gemini tạo ra, và Gemini cũng không thể phát hiện các tín hiệu dấu bản quyền ẩn do Claude tạo ra, bởi vì mỗi triển khai đều dựa trên các khóa bí mật chỉ nhà cung cấp LLM mới nắm giữ.

Những phản đối đối với tiền đề kỹ thuật

Một trong những vấn đề cơ bản của tôi với điều này là không có hai từ đồng nghĩa nào mang ý nghĩa hoàn toàn giống hệt nhau. "He leaped at the chance" (Anh ấy chộp lấy cơ hội) và "He jumped at the opportunity" (Anh ấy nhảy vào cơ hội) là những câu rất giống nhau thể hiện cùng một cảm xúc chung, nhưng chúng không giống nhau. Những từ chính xác mà chúng ta chọn khi viết rất quan trọng. Tôi muốn bất kỳ LLM nào tôi sử dụng đều chọn những từ tốt nhất, chính xác nhất tại mọi điểm quyết định. Một hạn chế rõ ràng mà tôi chấp nhận là thời gian và tính toán. Trong phạm vi hạn chế của việc thực hiện suy luận nhanh chóng và với một chi phí nhất định cho mỗi token, tôi muốn những từ tốt nhất. Hạn chế này tương đồng với việc viết lách của con người. Chắc chắn tôi có thể viết một bài báo tốt hơn nếu dành nhiều thời gian hơn. Tôi viết với ý thức về việc mình nên dành bao nhiêu tâm huyết cho mỗi lựa chọn từ ngữ và dấu câu. Tôi dành nhiều thời gian hơn cho một số đoạn văn, câu văn hoặc thậm chí là lựa chọn từ ngữ cá nhân khi trực giác mách bảo tôi nên làm vậy.

Nói cách khác, đây là những sự đánh đổi cần thiết. Những yếu tố này đều vì lợi ích của tôi: tốc độ, chi phí, chất lượng. Lý tưởng nhất là tôi muốn bài viết hoàn hảo, tốc độ tạo tức thì, chi phí bằng không. Không điều nào trong số đó là khả thi. Tính toán không miễn phí (và suy luận LLM dựa trên đám mây với các mô hình hàng đầu thực sự đắt đỏ). Suy luận không tức thì. Và bài viết tuyệt vời, dù là tự nhiên hay nhân tạo, cũng chỉ có thể tiệm cận sự hoàn hảo.

Ý tưởng cho rằng bất cứ điều gì khác ngoài nhu cầu của tôi lại có thể ảnh hưởng đến việc tạo văn bản cho tôi là một sự xúc phạm rõ ràng.

Đây không chỉ là về văn bản mà người ta có thể tạo ra với ý định mạo nhận là tác phẩm tự nhiên của riêng họ. Đây thậm chí không phải là về việc LLM hiệu đính các tác phẩm viết tay. Anthropic đang nói rằng tất cả các mô hình Claude mới sẽ làm sai lệch từng chút văn bản dài hơn 200 token (~150 từ) mà chúng tạo ra, bao gồm cả mọi thứ chúng hiển thị cho người dùng đọc. Vì vậy, ngay cả trong một cuộc trò chuyện riêng tư giữa người dùng và Claude, cuộc trò chuyện sẽ không bao giờ được đọc bởi bất kỳ ai khác ngoài người dùng, Claude cũng sẽ bắt đầu đưa ra các lựa chọn từ ngữ nhân danh việc đánh dấu đầu ra của nó theo những cách có thể dự đoán về mặt thống kê thay vì tối đa hóa sự rõ ràng và chính xác.

Ngay cả những mô hình được gọi là tiên phong ngày nay cũng đã thiếu đi sự sáng suốt. Claude, ChatGPT, Grok, v.v. là những "người viết tốt hơn" so với hầu hết con người và tạo ra văn bản hay hơn mức trung bình của con người. Nhưng: tất nhiên rồi. Hầu hết mọi người đều là những người viết tồi. "Người bình thường" khá ngốc nghếch và một nửa số người còn ngốc hơn thế. Và có rất nhiều người thông minh, thú vị nhưng lại viết lách rất tệ. Vì vậy, dù các LLM có ấn tượng đến đâu, tiêu chuẩn vẫn rất thấp. Bài viết tốt nhất mà tôi thấy từ các mô hình này vẫn tệ hơn bất cứ thứ gì tôi chọn để đọc cho vui. Và bây giờ Anthropic nói rằng họ sẽ làm cho nó tệ hơn, một cách cố ý, vì những mục đích không mang lại lợi ích gì cho tôi? Ngay cả khi chỉ tệ hơn một chút?

Thật vớ vẩn.

Những phản đối đối với quy định của EU

Nói về những phản đối, quy định liên quan của EU thúc đẩy tất cả những điều này, "Quy tắc thực hành về tính minh bạch của nội dung do AI tạo ra", là một mớ lý thuyết viển vông, quan liêu và vô nghĩa. Đây là bản tóm tắt của Ben Thompson từ một bản cập nhật trả phí trên Stratechery tuần này:

Hiểu theo nghĩa đen, các điều khoản dịch vụ LLM tuân thủ phải cấm người dùng diễn đạt lại đầu ra từ các mô hình tuân thủ quy định này, bởi vì các lựa chọn từ ngữ chính là các dấu hiệu. Nhưng không phải Liên minh châu Âu đang cố gắng áp đặt quy định phi lý, thiếu thực tế và gây ra cuộc săn phù thủy lên toàn thế giới. Trách nhiệm đó thuộc về Anthropic.

Việc tuân thủ điều này, đặc biệt là đối với văn bản, sẽ chỉ tạo ra vấn đề cho những người dùng trung thực. Những người dùng không trung thực cố gắng mạo nhận văn bản do AI tạo ra là tác phẩm của riêng họ (sinh viên, nhân viên, bất kỳ ai) sẽ chỉ đơn giản là vượt qua sự phát hiện thông qua các công cụ diễn đạt lại bằng AI không tuân thủ.

James Padolsey — người mà tôi đã liên kết đến phần giải thích trực quan tương tác về cách các sơ đồ này hoạt động ở trên — giải thích điều này trong một bài đăng có tiêu đề "Dấu bản quyền yếu của Anthropic xoa dịu một đạo luật yếu" (mà nếu nghe quen quen, thì tôi đã liên kết trong một bài đăng độc lập trước đó hôm nay):

Cùng một suy nghĩ dẫn đến đạo luật này lẽ ra có thể áp dụng cho máy tính bỏ túi vào thời điểm chúng mới ra đời, nếu đầu ra của chúng tự bộc lộ thông qua các tạo tác. Rất may, một phép tính từ bộ não không bị đối xử khác biệt so với một phép tính từ máy tính bỏ túi. Tương tự với trình kiểm tra chính tả. Việc biến sự hỗ trợ thành điều đáng ngờ chỉ khi công cụ trở nên đủ khả năng để soạn thảo cả một câu không phải là một ranh giới có nguyên tắc. Đó là một sự áp đặt đạo đức lên chính sự khó khăn.

Tuy nhiên, Anthropic đã chọn một cách triển khai bao trùm ở cấp độ mô hình, có vẻ rộng hơn yêu cầu tối thiểu của luật. Đó có thể là kỹ thuật tuân thủ thuận tiện, nhưng nó loại bỏ những khác biệt mà luật pháp đã cố gắng bảo tồn một cách rõ ràng. Kết quả là một tín hiệu đủ rộng để gây ảnh hưởng đến việc sử dụng vô hại và hỗ trợ, nhưng lại đủ mong manh để bị loại bỏ bởi một người có động cơ thông qua việc soạn thảo lại đáng kể. Nó có nguy cơ tập trung sự nghi ngờ vào những người dùng bình thường và người dùng hỗ trợ, trong khi vẫn yếu nhất trước sự lừa dối có chủ đích.

Padolsey là người tạo ra Declaude, một ứng dụng web đơn giản thú vị cho phép bạn "Dán văn bản mang phong cách AI vào và nhận lại nội dung tương tự dưới dạng văn bản thuần túy". Mục đích ban đầu của Declaude là làm sạch mùi vị ngọt ngào của nhân cách Claude khỏi văn bản (cho dù nó được tạo bởi Claude hay bất kỳ LLM nào khác), nhưng nếu Anthropic kiên trì với kế hoạch đã nêu là bắt đầu làm sai lệch tất cả văn bản mà Claude tạo ra, Declaude cũng sẽ đóng vai trò là một cách sao chép-dán thêm một bước để loại bỏ những dấu hiệu đó. Declaude đã thú vị và hữu ích rồi, nhưng nó minh chứng cho việc quy định của EU này thiếu cân nhắc và vô ích như thế nào khi nói đến văn xuôi.

Google SynthID

Google có một hệ thống đóng dấu bản quyền mà họ gọi là SynthID, được áp dụng cho hình ảnh, video, âm thanh và văn bản do AI tạo ra. Trong bài viết này, tôi chỉ quan tâm đến văn bản. Với đa phương tiện, các dấu bản quyền nhúng có thể là siêu dữ liệu trong tệp và thực sự không ảnh hưởng đến chất lượng trải nghiệm của tác phẩm khi xem hoặc nghe. Với văn bản, chúng ta đang nói về chính những từ ngữ được chọn. Từ phần "Văn bản do AI tạo ra" trong mô tả của chính Google DeepMind về SynthID:

Chúng tôi đã mở rộng SynthID để đóng dấu bản quyền và xác định văn bản được tạo bởi ứng dụng và trải nghiệm web Gemini. Các mô hình ngôn ngữ lớn tạo văn bản từng từ (token) một. Mỗi từ được gán một điểm xác suất, dựa trên khả năng nó được tạo ra tiếp theo. Vì vậy, đối với một câu như "Trái cây nhiệt đới yêu thích của tôi là xoài và…", từ "chuối" sẽ có điểm xác suất cao hơn từ "máy bay". SynthID điều chỉnh các điểm xác suất này để tạo ra dấu bản quyền. Nó không thể nhận thấy bằng mắt thường và không ảnh hưởng đến chất lượng của đầu ra.

Trong một cuộc trò chuyện nhóm, một người bạn của tôi đã trích dẫn đoạn trên, và tôi trả lời rằng nếu một chatbot viết "Trái cây nhiệt đới yêu thích của tôi là xoài và máy bay", tôi khá chắc là mình sẽ nhận ra ngay. Một người bạn khác sau đó đã trả lời thế này:

Nhiều ngày sau, điều đó vẫn làm tôi cười nghiêng ngả.

Nhưng mô tả phi lý của Google đã phủ nhận chính tuyên bố của họ rằng nó không đáng chú ý, và nó cho thấy những người đứng sau các sơ đồ nhận dạng văn bản tạo ra này coi thường việc viết lách thực sự đến mức nào. Tất nhiên "chuối" có điểm xác suất cao hơn "máy bay", vì máy bay không phải là trái cây. Nhưng còn "dứa" thì sao? Câu đó nên hoàn thành là "xoài và chuối" hay "xoài và dứa"? Đó là một câu hỏi hay, và câu trả lời duy nhất có thể chấp nhận được cho lý do tại sao một LLM nên chọn chuối thay vì dứa (hoặc dừa, hoặc ổi, hoặc đu đủ...) là vì nó đã xác định đó là lựa chọn phù hợp nhất cho ý nghĩa, giọng điệu và cảm xúc dự định của văn bản. Không phải vì "chuối" nằm trong danh sách "xanh" và "dứa" nằm trong danh sách "đỏ", ngay cả khi dứa có thể là lựa chọn phù hợp hơn. Mô tả có vẻ hài hước của chính Google về cách SynthID hoạt động thực tế đã nắm bắt được cách sơ đồ này làm biến chất văn bản mà nó tạo ra.

Họ nói rằng bạn sẽ không nhận ra vì nếu nó chỉ chọn chuối thay vì dứa cho các mục đích nhận dạng này, thì cả hai đều là trái cây nhiệt đới và ai quan tâm chứ. Nhưng thật vô nghĩa khi nói rằng sự khác biệt là "không thể nhận thấy bằng mắt thường". Sự khác biệt về ngữ nghĩa giữa chuối và dứa cũng dễ nhận thấy bằng mắt thường giống như hương vị của hai loại này đối với lưỡi của con người vậy.

Nếu nó thực sự tạo ra "Trái cây nhiệt đới yêu thích của tôi là xoài và máy bay", nó sẽ cực kỳ ngu ngốc, nhưng sẽ không gây khó chịu vì tất cả chúng ta đều nhận ra rằng có điều gì đó hoàn toàn sai lệch đã xảy ra. Điều gây khó chịu là với một hệ thống như SynthID, nơi các quyết định nhận dạng được thúc đẩy bởi một khóa bí mật, chúng ta không biết liệu nó hoàn thành là "xoài và chuối" vì "chuối" được xác định là token tiếp theo tốt nhất, hay vì "chuối" nằm trong danh sách "xanh". Nó khiến mọi lựa chọn từ ngữ đều bị đặt dấu hỏi.

Đây là một bài báo được xuất bản trên Nature, nơi nhóm của Google đứng sau SynthID công bố công trình của họ, sau khi đưa nó vào sản xuất với Gemini (tên cũ là Bard):

Chúng tôi đã phân tích khoảng 20 triệu phản hồi có và không có dấu bản quyền, đồng thời tính toán tỷ lệ thích và không thích (cả hai đều là một phần của tổng số phản hồi thích và không thích nhận được). Chúng tôi nhận thấy rằng tỷ lệ thích đối với hai mô hình khác nhau 0,01% (với mô hình có dấu bản quyền cao hơn); và tỷ lệ không thích khác nhau 0,02% (với mô hình có dấu bản quyền thấp hơn). Chúng tôi nhận thấy cả hai sự khác biệt này đều không có ý nghĩa thống kê và nằm trong khoảng tin cậy 95%.