Huyền thoại AI Richard Sutton: Dữ liệu tổng hợp là 'sai lầm lớn', LLM đang đâm đầu vào ngõ cụt

Chuyển đến nội dung chính

20 tháng 8, 2026

Nano Banana Pro được gợi ý bởi THE DECODER

Nhà nghiên cứu AI Richard Sutton đang phản đối một chiến lược cốt lõi tại các phòng thí nghiệm AI hàng đầu. Ông cho rằng dữ liệu tổng hợp (synthetic data) sẽ không giải quyết được vấn đề mở rộng quy mô cho các mô hình ngôn ngữ lớn, đồng thời chỉ ra sự phức tạp tột cùng của thế giới chính là rào cản.

Người chiến thắng giải thưởng Turing, Richard Sutton, được coi là một trong những người sáng lập lĩnh vực học tăng cường (reinforcement learning). Ông là tác giả cuốn giáo trình tiêu chuẩn của lĩnh vực này, là người hướng dẫn cho các nhà nghiên cứu như David Silver (người sau này làm việc tại dự án AlphaGo) và là tác giả của bài luận đầy ảnh hưởng năm 2019 mang tên "The Bitter Lesson" (Bài học cay đắng). Trong đó, Sutton lập luận rằng về lâu dài, chỉ những phương pháp AI có khả năng mở rộng theo sức mạnh tính toán mới giành chiến thắng, chẳng hạn như tìm kiếm và học tập, chứ không phải những phương pháp dựa trên tri thức nhân tạo có sẵn.

Trong một cuộc trò chuyện gần đây, ông đã giới thiệu công ty mới của mình, Oak Lab, được thành lập cùng với cựu sinh viên Khurram Javeed. Ông và người đồng sáng lập cũng đã thảo luận về những hạn chế của các phương pháp huấn luyện hiện nay.

Tại sao LLM chỉ là một nửa chặng đường thành công

Đối với Sutton, các mô hình ngôn ngữ lớn (LLM) vừa là ví dụ tốt, vừa là ví dụ xấu của "Bài học cay đắng". Tốt vì chúng đã mở rộng quy mô cực lớn nhờ sức mạnh tính toán và bạn có thể đơn giản là "hấp thụ toàn bộ internet". Xấu vì chúng chạm ngưỡng giới hạn ngay tại điểm đó. Internet là hữu hạn, và thế giới thực thì "lớn hơn gấp bội so với tất cả những gì chúng ta lưu trữ trên internet". Tại thời điểm đó, Sutton cho rằng bạn đang dựa dẫm quá nhiều vào tri thức con người, và điều đó cuối cùng sẽ kìm hãm các hệ thống.

Khi được hỏi liệu dữ liệu tổng hợp có thể phá vỡ nút thắt này hay không, Sutton thẳng thắn trả lời: "Không, đó chỉ là một sai lầm lớn." Lập luận này xuất phát từ "Giả thuyết Thế giới Lớn" (Big World Hypothesis) mà Javeed đã xây dựng và nhóm nghiên cứu tại Alberta đã theo đuổi trong nhiều năm.

Thế giới quá lớn đối với bất kỳ mô phỏng nào

Giả định cốt lõi là thế giới phức tạp vô hạn và "phức tạp hơn nhiều so với tâm trí của bạn, hơn bất kỳ tác nhân (agent) nào". Bất kỳ mô phỏng nào về nó cũng chỉ là nhỏ bé, "cấp độ hiển vi". Một chương trình nhỏ chỉ có thể tạo ra một thế giới nhỏ không khớp với thực tế, với các giá trị ma sát sai lệch hoặc mô hình không chính xác về hành vi vận động của robot. Sutton cũng chỉ ra rằng thế giới chứa đựng nhiều tác nhân khác mà cơ chế hoạt động bên trong của chúng không thể được tạo ra dưới dạng dữ liệu tổng hợp. "Không đời nào chúng ta có thể có dữ liệu tổng hợp cho tâm trí của người khác."

Một phản đối thứ hai là nút thắt cổ chai từ con người. Ai là người quyết định dữ liệu tổng hợp nào là tốt hay xấu? Theo lập luận của Javeed, điều đó cần đến các chuyên gia con người. "Bạn cần các chuyên gia con người biết đâu là tập dữ liệu tốt và đâu là tập dữ liệu xấu để phương pháp đó có thể mở rộng quy mô. Vì vậy, nó bị kìm hãm bởi con người." Giả sử bạn muốn huấn luyện một chiếc drone di chuyển như loài dơi bằng cách sử dụng định vị bằng tiếng vang. Trước tiên, bạn phải thuê các chuyên gia trong lĩnh vực đó. Điều này khiến phương pháp bị giới hạn bởi chuyên môn con người và không thể mở rộng. Ngay cả với xe tự lái được huấn luyện trong môi trường mô phỏng, con người vẫn phải là người khắc phục khoảng cách giữa mô phỏng và thực tế.

Giải pháp thay thế của Sutton là học hỏi từ chính trải nghiệm của bản thân

Cách khắc phục của Sutton là loại bỏ con người ra khỏi vòng lặp và để các tác nhân tự học hỏi từ trải nghiệm của chính chúng. Một tác nhân nên tự học mô hình thế giới của riêng mình và liên tục điều chỉnh nó, thay vì dựa vào một mô hình mô phỏng cố định do con người xây dựng. "Các trình mô phỏng, chúng phải tự tạo ra chính mình."

Sutton cũng chỉ trích thực tế rằng các mô hình ngôn ngữ ngày nay ngừng học sau khi huấn luyện. "Trọng số của chúng không bao giờ thay đổi." Điều cần thiết thay vào đó là học tập liên tục thực sự (continual learning), mà theo quan điểm của Sutton, đó mới chính là học tập, vì "mọi sự học đều là liên tục", mà không xóa bỏ kiến thức cũ, hay còn gọi là hiện tượng quên lãng thảm họa (catastrophic forgetting).

Sutton cho rằng vấn đề này có thể được giải quyết, một phần bằng phương pháp có tên "Continual Backprop" mà nhóm của ông đã công bố trên tạp chí Nature. Ông gọi các mô hình ngôn ngữ là một "bước đột phá khoa học đáng kinh ngạc", nhưng chỉ "chiếm khoảng 20% hoặc một phần tư trí thông minh".

Tin tức AI không cường điệu – Được tuyển chọn bởi con người

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo độc quyền "AI Radar" sáu lần mỗi năm, quyền truy cập toàn bộ kho lưu trữ và tham gia phần bình luận của chúng tôi.

Đăng ký ngay

Đăng ký The Decoder