Tôi vẫn hoài nghi về LLM: Tại sao cuộc cách mạng 4 năm qua vẫn chưa tạo ra giá trị thực?

Tôi vẫn không sử dụng LLM cho bất cứ việc gì mà tôi thực sự quan tâm. Có rất nhiều lý do tôi có thể đưa ra: môi trường, xã hội, chính trị. Tôi có thể nói về sự phụ thuộc vào hệ sinh thái, sự lệ thuộc đã được học, quyền tự chủ, các mối quan ngại về triết học, việc cố tình phá bỏ quyền thương lượng của người lao động, và nhiều thứ khác nữa. Nhưng trước tất cả những điều đó, câu hỏi đơn giản về tính hiệu quả - liệu chúng có thực sự hoạt động cho mục đích xây dựng các phần mềm không tầm thường hay không - vẫn còn rất xa mới có lời giải đáp.

Dưới đây là một vài lý do cho sự hoài nghi của tôi:

Chúng ta đã trải qua 4 năm của "cuộc cách mạng" này và ngành công nghiệp gần như chẳng có gì để chứng minh cho nó cả. Phần mềm không hề cải thiện về chất lượng, không chạy nhanh hơn, không rẻ hơn để sản xuất (nếu loại trừ hàng núi phần mềm demo kém chất lượng mà không một tổ chức uy tín nào dám đụng vào), cũng không trở nên mạnh mẽ hơn. Chắc chắn là nó cũng không bảo mật hơn. Một cuộc cách mạng công nghệ thường được đánh dấu bằng việc các đế chế cũ sụp đổ và được thay thế bằng những người chơi và ý tưởng mới. Tôi không thấy rõ rằng ngành công nghiệp này đã tạo ra bất kỳ ý tưởng mới nào trong vài năm qua mà không nằm trong cái vòng luẩn quẩn của sự tung hô AI. Mọi người đều đang gào thét hết sức mình nhưng chẳng ai thực sự đưa ra được thứ gì hữu ích.

Tôi không cảm thấy mình bị tụt hậu khi không sử dụng chúng, mặc dù tôi đã từng nghĩ như vậy. Chẳng có ai xuất hiện để "cướp miếng cơm manh áo" về mặt uy tín của các dự án mã nguồn mở của tôi, bất chấp mọi ồn ào ngoài kia. Bạn có thể sao chép chức năng mã nguồn của tôi, nhưng một lệnh memcpy đơn giản cũng làm được điều đó: một dự án mã nguồn mở mà mọi người cảm thấy đủ tin tưởng để xây dựng hệ thống của họ trên đó còn bao hàm nhiều thứ hơn là chỉ một danh sách tính năng.

Bằng chứng rất mong manh và ít ỏi. Sau khi tiêu tốn 1,5 nghìn tỷ đô la, chúng ta vẫn gần như không có nghiên cứu độc lập nào chứng minh được sự cải thiện năng suất ở cấp độ cao liên quan đến AI. Với việc một nửa nền kinh tế của chúng ta hiện đang dựa trên tuyên bố cốt lõi này, chúng ta nên mong đợi nhiều hơn là vài nghiên cứu đơn lẻ và những giai thoại. Mọi nghiên cứu mà tôi biết hoặc là quá tập trung vào một chỉ số chẳng liên quan gì đến năng suất cấp cao ('số dòng code đã viết', 'số PR đã hợp nhất', 'số tính năng đã thêm', v.v.) hoặc là quá nhỏ để rút ra kết luận hữu ích. Ngay cả khi đó, những nghiên cứu tồn tại và gợi ý về một mức độ nghiêm túc về học thuật nào đó cũng chỉ chỉ ra những lợi ích năng suất không đáng kể hoặc thậm chí là tiêu cực.

Các PR do LLM tạo ra mà tôi nhận được vẫn là rác rưởi. Mã nguồn đã bớt lặp lại một cách lộ liễu và bớt nhất quán về phong cách, nhưng không hề phù hợp hơn với mục đích sử dụng. Tỷ lệ những PR đáng để hợp nhất vẫn thấp hơn nhiều so với những PR do con người viết. Một lời chỉ trích công bằng là ngày càng khó phân biệt giữa hai loại này do đầu ra của AI đang trở nên bớt công thức hóa hơn một chút, nhưng ngay cả những người cẩn thận nhất cũng vẫn sẽ để lại lỗi đánh máy kỳ quặc trong phần mô tả của họ, vì vậy tôi không tin rằng các con bot đã thực sự hòa nhập với chúng ta đến mức đó.

Chúng vẫn bỏ sót những thứ hiển nhiên. Một vài thư viện mã nguồn mở của tôi nằm trong cây phụ thuộc của các công ty FAANG và tôi đã nhận được vài báo cáo gửi đến do kết quả quét bằng các mô hình tiên tiến (frontier models). Một số thì tốt, nhưng hầu hết là tệ; tôi có thể nhớ lại vài tình huống mà một mô hình tiên tiến bỏ sót thứ gì đó hiển nhiên và quan trọng, thứ mà một người có sở thích sử dụng bộ não của họ đã tìm ra ngay sau đó.

Triết lý mà những người ủng hộ AI lan tỏa vẫn đi ngược lại nửa thế kỷ lý thuyết về việc phát triển phần mềm thực chất là gì. Đến nay, tất cả chúng ta đều nên biết rằng mã nguồn là đầu vào cho quy trình phát triển phần mềm chứ không phải đầu ra: vậy mà ngay cả những tổ chức có tầm nhìn xa nhất vẫn ngầm coi số dòng code là một thước đo năng suất. Đó là con đường dẫn đến sự cẩu thả không thể bảo trì, cho dù sự cẩu thả đó đến từ máy móc hay chỉ đơn giản là sản phẩm phụ của việc con người tuân theo các cấu trúc khuyến khích được thiết kế kém. Peter Naur vẫn là người không thể bị đánh bại.

Khi ai cũng là siêu nhân, thì chẳng có ai là siêu nhân cả. Mục tiêu không mấy kín đáo của việc thúc đẩy LLM bởi các ông lớn công nghệ là đồng nhất hóa lao động trí tuệ để nó có thể trở nên thay thế được. Khi lao động có thể thay thế được, bạn có thể hoán đổi nó bất cứ khi nào bạn muốn, làm giảm quyền thương lượng của người lao động. Phát triển phần mềm là một trong những "lĩnh vực bang hội" cuối cùng và bây giờ chúng ta đang chứng kiến sự công nghiệp hóa của nó. Bằng cách không dựa dẫm vào LLM, tôi đã tạo cho mình không gian để chuyên môn hóa vào một tập hợp kỹ năng nhỏ hơn. Cho đến nay, quyết định có ý thức đó đang mang lại kết quả tốt, và tôi vẫn tự tin về sự ổn định công việc của mình.

Nếu bạn nhận thấy các vấn đề về khả năng truy cập trên trang web này, vui lòng cho tôi biết!

© Joshua Barretto