Tại sao bạn gần như không nên để AI viết các nội dung quan trọng?

Tôi cho rằng bạn gần như không bao giờ nên sử dụng AI để viết — nghĩa là thực hiện công việc mà bạn đang làm khi gõ chữ lên trang giấy — dù là cho một bài blog, báo cáo nghiên cứu, bản ghi nhớ, email tâm huyết, tiểu thuyết hay bất kỳ văn bản nào khác nhằm truyền tải một ý tưởng, lập luận, phân tích hoặc các suy nghĩ thực chất khác. Tôi nghĩ điều này vẫn đúng ngay cả khi bạn cung cấp cho AI các gạch đầu dòng rất chi tiết, các ý tưởng được đọc thành tiếng hoặc các ngữ cảnh khác, và ngay cả khi bạn chỉnh sửa văn bản do AI viết.

Tôi nghĩ vậy vì (1) quá trình viết là một phần thiết yếu của quá trình tư duy, (2) văn bản do AI viết thường mơ hồ và sai lệch theo những cách khó nhận ra, và (3) viết bằng AI (mà không gắn nhãn) là hành vi bất lịch sự và gây hiểu lầm. Tôi sẽ giải thích chi tiết hơn về những điểm này dưới đây, nhưng trước hết, hãy làm rõ một vài điều.

Như bạn có thể biết, tôi không bài trừ AI. Tôi nghĩ việc sử dụng AI cho nhiều phần khác trong quá trình nghiên cứu và viết lách là rất hợp lý, chẳng hạn như chuyển đổi âm thanh thành văn bản, phân tích dữ liệu, tìm kiếm thông tin, động não (brainstorming) và đưa ra phản hồi cho các bản nháp. Tôi cũng cho rằng việc sử dụng AI để biên tập câu chữ, hoặc viết lại một đoạn văn cho rõ ràng hay súc tích hơn là hoàn toàn ổn, miễn là mọi chỉnh sửa đều được con người chủ động chấp nhận hoặc từ chối. Tôi chỉ phản đối việc sử dụng AI để viết văn bản.

Và đúng là có nhiều lợi ích khi sử dụng AI để viết. Ví dụ, nó tốn ít công sức và nhanh hơn nhiều so với việc tự viết. Vì vậy, những bất lợi của việc sử dụng AI để viết cần phải đủ lớn để khiến nó trở nên tồi tệ xét trên tổng thể. Như bạn có thể đã đoán ra, tôi nghĩ là chúng thực sự lớn.

Cuối cùng, tôi chỉ đang đưa ra nhận định về các mô hình AI hiện có và những mô hình mà tôi dự đoán sẽ xuất hiện trong tương lai gần. Có khả năng đến một lúc nào đó sẽ tồn tại những mô hình đủ tốt để việc ủy thác việc viết lách cho chúng trở nên hợp lý (mặc dù đến lúc đó, có lẽ sẽ hợp lý hơn nếu ủy thác toàn bộ quá trình nghiên cứu hoặc viết lách từ đầu đến cuối, vì ngoài việc viết, chúng cũng sẽ cần phải thực hiện tất cả hoặc hầu hết các phần tư duy).

Mục đích của việc thực hiện bất kỳ loại nghiên cứu nào là hình thành những niềm tin chính xác về các câu hỏi quan trọng, mà sau đó bạn có thể truyền đạt tới khán giả. Theo ý kiến của tôi, một trong những cách tốt nhất để làm điều đó là thông qua việc viết.

Paul Graham đã viết rằng:

Viết về một chủ đề nào đó, ngay cả khi đó là thứ bạn biết rõ, thường cho thấy rằng bạn không thực sự hiểu nó sâu sắc như bạn tưởng. Việc diễn đạt ý tưởng thành lời là một bài kiểm tra khắt khe. [...] Một nửa số ý tưởng xuất hiện trong một bài luận sẽ là những điều bạn nghĩ ra trong khi đang viết nó. Thực vậy, đó là lý do tại sao tôi viết chúng.

Trong một tập podcast của Patrick McKenzie, Clara Collier nói rằng:

Khi tôi viết một thứ gì đó, một thứ gì đó thực chất, không có phần nào trong quá trình viết đó mà tôi không suy nghĩ và thay đổi quan điểm của mình. Mọi thứ, từ dàn ý đến việc chuyển nó thành văn bản, cho đến từng câu chữ. Thường thì tôi sẽ gặp trải nghiệm cố gắng biến một dàn ý thành sản phẩm hoàn chỉnh, tôi đang thử nghiệm một đoạn chuyển ý, và nó không hiệu quả, rồi tôi nhận ra: ồ, lý do đoạn chuyển ý này không hiệu quả là vì thực ra hai luận điểm này không nên đặt cạnh nhau. Điều tôi đang cố gắng làm ở đây là sai. Và nếu tôi nạp dàn ý đó vào một LLM, nó sẽ không dừng lại và cân nhắc rằng có lẽ dàn ý đó không ổn. [...]

Patrick đáp lại:

Tôi hoàn toàn đồng ý rằng quá trình viết chính là quá trình tư duy, và tôi nghĩ hiện nay chúng ta đã có minh chứng thực nghiệm cho điều này, bởi vì bạn tạo ra một cỗ máy thực hiện việc viết và tư duy chỉ xuất hiện như một tác dụng phụ.

Nhưng khi viết một bài dài nhiều trang, ngay cả khi bạn có một luận điểm mạnh, hành động ép bản thân viết nó ra thành các câu và đoạn văn để cấu trúc lập luận sẽ cho bạn thấy những lỗ hổng trong lập luận đó. Nó sẽ cho bạn thấy quá trình nghiên cứu của bạn đã chưa đầy đủ ở đâu. Nó sẽ làm nổi lên những điều như: ồ, thực ra có một thứ gì đó mâu thuẫn với điều tôi muốn nói. Và, là một người có đạo đức, tôi nghĩ mình sẽ thừa nhận rằng có những phản biện, hoặc phải bổ sung rằng kết luận đầy đủ ít chắc chắn hơn so với cái mà tôi, xin được dùng từ, “muốn viết”.

Tôi cơ bản đồng ý với những quan điểm này. Khi tôi viết một thứ gì đó, trước tiên tôi phải biết mình muốn nói gì, nghĩa là tôi phải suy nghĩ về bằng chứng và lập luận để đi đến một số niềm tin. Vì vậy, việc viết buộc tôi phải làm những điều đó, vốn là những thứ cần thiết cho bất kỳ dự án viết lách hay nghiên cứu nào. Đối với bất kỳ dự án nào như vậy, ai đó phải nắm giữ toàn bộ mọi thứ trong đầu mình — tất cả các mảnh bằng chứng, cân nhắc, lập luận và cách chúng khớp với nhau. Viết bằng AI giúp việc tránh né những suy nghĩ cần thiết trở nên dễ dàng hơn.

Khi tôi viết một thứ gì đó, tôi đưa ra rất nhiều quyết định nhỏ về cách dùng từ và diễn đạt cụ thể. Cùng nhau, những quyết định nhỏ này góp phần vào sự rõ ràng và chính xác tổng thể của văn bản.

Ví dụ, nếu tôi yêu cầu Claude Fable viết một đoạn văn ngắn giới thiệu về vấn đề buôn lậu chip AI, một chủ đề đã được viết và đưa tin rộng rãi, nó xuất ra:

Kể từ tháng 10 năm 2022, Hoa Kỳ đã hạn chế xuất khẩu chip AI tiên tiến sang Trung Quốc, nhằm làm chậm tiến độ của Trung Quốc tại biên giới của AI. Nhưng các biện pháp kiểm soát xuất khẩu chỉ mạnh khi việc thực thi chúng hiệu quả, và chip AI thì nhỏ gọn, cực kỳ giá trị và được bán thông qua các chuỗi cung ứng toàn cầu chằng chịt — những đặc tính khiến chúng trở nên hấp dẫn và khả thi để buôn lậu. Các mạng lưới chuyển hướng vận chuyển các GPU bị kiểm soát thông qua các trung gian ở những nơi như Singapore, Malaysia và UAE, sử dụng các công ty vỏ bọc và giấy tờ giả mạo để đưa chúng vào Trung Quốc. Các ước tính về quy mô rất khác nhau, từ hàng chục nghìn đến có lẽ hơn một trăm nghìn chip cao cấp mỗi năm, và ngay cả con số thấp nhất cũng đại diện cho đủ năng lực tính toán để tạo ra sự khác biệt cho việc huấn luyện và triển khai các hệ thống AI có năng lực. Trong khi đó, Cục Công nghiệp và An ninh, cơ quan được giao nhiệm vụ kiểm soát một ngành thương mại trị giá hàng trăm tỷ đô la, lại hoạt động với ngân sách và nhân sự phù hợp hơn cho một vấn đề nhỏ hơn nhiều. Do đó, việc buôn lậu chip đe dọa âm thầm làm rỗng một trong những trụ cột trung tâm của chính sách AI Hoa Kỳ.

Điều đó không quá tệ, và có lẽ thậm chí khá hợp lý, nhưng đó có phải là cách tôi sẽ viết không? Không, thực tế là Claude đã đưa ra rất nhiều lựa chọn mà tôi thấy là sai hoặc tệ một cách tinh vi:

Claude viết rằng “các biện pháp kiểm soát xuất khẩu chỉ mạnh khi việc thực thi chúng hiệu quả”, nhưng điều này có nghĩa là gì? Nó hoặc là nói một điều hiển nhiên (tất nhiên các chính sách không được thực thi hoặc thực thi kém thì kém hiệu quả hơn) hoặc chẳng nói lên điều gì cả.

Claude viết rằng chip AI thì “nhỏ gọn”, điều đó đúng, nhưng thứ thường bị buôn lậu là các máy chủ AI, vốn không hề nhỏ gọn. Dù sao thì, quan trọng hơn, điều này không thành vấn đề, vì việc buôn lậu chip AI hiếm khi liên quan đến việc giấu sản phẩm để qua mặt hải quan; thông thường các sản phẩm chỉ được dán nhãn lại thành một loại hàng hóa khác và vận chuyển công khai, có thể nói là như vậy.

Claude viết rằng việc “được bán thông qua các chuỗi cung ứng toàn cầu chằng chịt” khiến chip AI “trở nên hấp dẫn và khả thi để buôn lậu”. Điều này có nghĩa là gì? Có phải là những kẻ buôn lậu có thể mua chip dễ dàng hơn từ các công ty bên ngoài Hoa Kỳ? (Cho đến gần đây, những kẻ buôn lậu dường như có thể mua chip AI từ các công ty có trụ sở tại Hoa Kỳ với tương đối ít khó khăn.) Có phải là nó khiến những kẻ buôn lậu mua nhiều chip AI ở các quốc gia như Malaysia ít bị chú ý hơn? (Tôi nghĩ điều này gần với sự thật hơn.) Hay là một điều gì đó khác?

Claude viết rằng các ước tính về quy mô buôn lậu “rất khác nhau, từ hàng chục nghìn đến có lẽ hơn một trăm nghìn chip cao cấp mỗi năm”. Điều này đúng theo nghĩa đen, nhưng các ước tính thấp gần như chắc chắn là sai, và con số thực có lẽ gần hơn nhiều với mức cao hơn mà Claude đề cập, tức là hàng trăm nghìn. Vì vậy, điều này gây hiểu lầm. Ngoài ra, Claude không chỉ định năm, nhưng khối lượng buôn lậu đã biến động mạnh kể từ tháng 10 năm 2022, Claude cũng không chỉ định chip “cao cấp” là gì (nghe như một món hàng xa xỉ được làm thủ công và chỉ bán cho các thành viên hoàng gia Ả Rập và các nữ công tước góa phụ).

Claude viết rằng “ngay cả con số thấp nhất cũng đại diện cho đủ năng lực tính toán để tạo ra sự khác biệt cho việc huấn luyện và triển khai các hệ thống AI có năng lực”. Cụm từ này không có giá trị thông tin. Theo một nghĩa nào đó, một con chip AI đơn lẻ cũng “tạo ra sự khác biệt” cho việc huấn luyện và triển khai các hệ thống AI, dù có năng lực hay không. (Và dù sao thì “hệ thống AI có năng lực” là gì? Tại sao một lượng nhỏ năng lực tính toán lại quan trọng hơn đối với một hệ thống AI có năng lực so với một hệ thống AI kém cỏi? Nếu có, bạn có thể nghĩ ngược lại, rằng hệ thống AI yếu hơn sẽ được hưởng lợi nhiều hơn từ một lượng nhỏ năng lực tính toán.)

Claude viết rằng Cục Công nghiệp và An ninh (BIS) được “giao nhiệm vụ kiểm soát một ngành thương mại trị giá hàng trăm tỷ đô la”. Ở đây, sẽ tốt hơn nhiều nếu chỉ cần đề cập đến con số cụ thể.

Claude viết rằng BIS “hoạt động với ngân sách và nhân sự phù hợp hơn cho một vấn đề nhỏ hơn nhiều”. Thứ nhất, chúng ta biết ngân sách và nhân sự của BIS, vì vậy sẽ tốt hơn nếu đề cập đến những con số đó và đặt chúng vào ngữ cảnh. Thứ hai, việc một vấn đề “nhỏ hơn” có nghĩa là gì? Nó có nghĩa là nó ít quan trọng hơn, hay nó đòi hỏi ít nỗ lực hơn để giải quyết, hay điều gì khác? Chẳng phải điều quan trọng là việc có thêm nguồn lực cho BIS có khả năng cải thiện đáng kể việc thực thi, chứ không phải là lượng nguồn lực BIS hiện có phù hợp hơn với một vấn đề khác sao?

Câu cuối cùng của Claude, rằng việc buôn lậu chip AI “đe dọa âm thầm làm rỗng một trong những trụ cột trung tâm của chính sách AI Hoa Kỳ”, hoàn toàn là những lời tán dương sáo rỗng không có thông tin.

Một hoặc hai vấn đề như vậy trong một văn bản có thể không quan trọng lắm, nhưng theo kinh nghiệm của tôi, văn bản do AI viết rất dày đặc những cụm từ mơ hồ không cần thiết và sai lệch một cách tinh vi. Lưu ý rằng vấn đề này cũng tồn tại ngay cả khi bạn cung cấp cho AI rất nhiều ngữ cảnh như các ghi chú và dàn ý bằng văn bản.

Tương tự, Eric Schwitzgebel viết rằng:

Các chuyên gia con người suy nghĩ khác biệt và tốt hơn các LLM. Cách họ chọn từ ngữ, ngay cả những từ tinh tế nhất, phản ánh những sự nhạy bén mà chính họ có thể không nhận thức được. Thông thường, văn phong của một chuyên gia sẽ nhạy bén hơn với các vấn đề mà họ là chuyên gia so với kết quả đầu ra của một mô hình ngôn ngữ. [...]

Bạn có thể phản đối như sau: Tất nhiên là tôi đọc các kết quả đầu ra của LLM trước khi gửi, và tôi sẽ không gửi email, chứ đừng nói đến việc nộp bài báo, trừ khi tôi tán thành từng từ một! Vì vậy, lập luận tiếp tục, bạn đã thực sự suy nghĩ về những ý tưởng được thể hiện. Văn bản phản ánh đánh giá chuyên môn tốt nhất của bạn — có lẽ thậm chí là thứ gì đó tốt hơn cả đánh giá chuyên môn tốt nhất của bạn: đánh giá chuyên môn tốt nhất của bạn kết hợp với chuyên môn của một LLM.

Tôi trả lời: Có một sự khác biệt lớn về nhận thức giữa việc gật đầu đồng ý khi đọc một thứ gì đó và việc thực sự tạo ra một văn bản một cách hiệu quả. Hai lý do: Thứ nhất, một khi văn bản đã nằm trên trang giấy, rất dễ để thụ động chấp nhận từ ngữ xấp xỉ thay vì suy nghĩ về việc chọn từ theo cách nỗ lực, chủ động như chúng ta làm khi tạo ra văn bản mới hoàn toàn. Thứ hai, như tôi đã gợi ý ở trên, tôi nghi ngờ rằng con người, ngay cả các chuyên gia, có cảm nhận tốt về tất cả các yếu tố định hình việc chọn từ — mọi thứ mà họ đang nhạy bén với. Bạn lẽ ra đã diễn đạt nó hơi khác một chút, và ngay cả khi bạn không biết điều đó, hoặc tại sao, một tín hiệu khác đã được gửi đi và nhận lại.

Tôi đồng ý với điều này. Nhưng thực tế còn tệ hơn thế nhiều! AI không chỉ viết văn bản mơ hồ không cần thiết và sai lệch một cách tinh vi, mà chúng còn làm điều đó theo cách thuyết phục tối đa! Nếu một AI không thực sự “biết” một điều bạn yêu cầu nó viết, nó thường sẽ không dừng lại và nói với bạn rằng nó không biết; thay vào đó, nó sẽ viết một thứ gì đó đủ mơ hồ và vô nghĩa để trở nên đúng, hoặc một thứ gì đó nghe có vẻ đúng nhưng thực tế lại không phải, hoặc không nhất thiết là như vậy. Con người tất nhiên thường sai và mơ hồ, nhưng tôi nghĩ chúng ta có xu hướng sai và mơ hồ theo những cách ít thuyết phục hơn và dễ nhận ra hơn.

Cần rất nhiều nỗ lực để đọc văn bản do AI viết và phát hiện ra tất cả những vấn đề nhỏ như cách tôi đã làm trước đó với văn bản về buôn lậu chip AI. Nếu tôi không biết nhiều về buôn lậu chip AI, tôi có lẽ đã không phát hiện ra hầu hết các vấn đề mà tôi đã liệt kê, trừ khi tôi đã suy nghĩ rất kỹ về văn bản đó. Nhưng nếu tôi tự viết văn bản đó, tôi đã không thể tránh khỏi việc nhận ra nơi mình bị bối rối.

Đôi khi khi tôi viết một văn bản, tôi viết với ý định để người khác đọc nó. Ví dụ, tôi có thể muốn xuất bản nó trực tuyến, hoặc chia sẻ với đồng nghiệp để lấy phản hồi, hoặc gửi dưới dạng email, hoặc gửi cho nhà xuất bản. Khi tôi xuất bản hoặc chia sẻ một văn bản, người đọc nó có lẽ mong đợi rằng tôi đã dành chút suy nghĩ cho những gì tôi viết, và cụ thể là văn bản đó đại diện cho suy nghĩ của tôi. Hoặc ít nhất họ nên mong đợi điều đó, và tôi muốn họ làm vậy. Đó là hợp đồng ngầm giữa người đọc và người viết, rằng người đọc dành sự chú ý của họ và người viết đền đáp điều đó bằng thứ gì đó có giá trị, như thông tin hoặc sự giải trí.

Trong cùng tập podcast của Patrick McKenzie, Clara Collier cũng nói rằng:

Có lẽ tôi đang quá coi trọng vấn đề này, nhưng phiên bản văn bản của tôi mà một LLM có thể tạo ra sẽ luôn thiếu một thứ gì đó mà tôi có thể thêm vào. Điều này, một lần nữa, không phải vì — có nhiều lĩnh vực mà các mô hình biết nhiều hơn tôi. Nhưng bất kỳ ai cũng có thể hỏi Claude về bất cứ điều gì bất cứ khi nào họ muốn.

Nếu họ đang đọc thứ gì đó tôi viết, hoặc thứ mà với tư cách là một biên tập viên tôi chọn để đưa ra trước mắt họ, đó là vì có một hợp đồng ngầm. Tôi đang cung cấp cho họ thứ mà họ không thể có được ở nơi khác. Đây sẽ là cách sử dụng thời gian của họ tốt hơn là chỉ hỏi trực tiếp mô hình. Và đó là lý do tại sao tôi sẽ không sử dụng văn bản do LLM tạo ra trực tiếp — hoặc nếu có, tôi sẽ muốn làm rõ về những gì bạn sắp nhận được trước khi bạn dành thời gian cho nó.

Tất cả những điều tôi đã viết ở trên, về những lỗi tinh vi và sự mơ hồ, và tất cả những điều về việc khi một văn bản do AI viết, bạn không biết liệu tác giả có dành nhiều suy nghĩ cho nó hay không — tất cả những điều này vi phạm hợp đồng đó. Vì vậy, khi tôi đọc một văn bản và nhận thấy nó hoàn toàn hoặc một phần do AI viết, niềm tin của tôi vào văn bản đó và vào tác giả ngay lập tức, và tôi nghĩ là một cách hợp lý, bị giảm xuống.