Cựu chuyên gia OpenAI: 'Scaling' không đủ để đạt AGI, thị trường dữ liệu huấn luyện sẽ cán mốc 100 tỷ USD

Andrew Ho rời OpenAI chỉ sau tám tháng làm việc, với niềm tin rằng các mô hình ngôn ngữ lớn (LLM) có khả năng khái quát hóa kém. Ông cho biết ngay cả trong những lĩnh vực được đầu tư tốt như lập trình, hiệu suất của chúng vẫn không ổn định.

Theo Ho, nguyên nhân gốc rễ là sự thiếu hụt dữ liệu huấn luyện. Hầu hết các kỹ năng quan trọng về mặt kinh tế hầu như không được thể hiện đầy đủ trong các tập dữ liệu hiện có.

"Hầu hết công việc đều mang tính ngữ cảnh cao và không dễ dàng mã hóa thành một môi trường có thể chấm điểm; ngay cả khi chúng ta có thể quan sát một 'con đường vàng' mà con người thực hiện và tin rằng đó là cách tốt, thì việc hiểu liệu các con đường thay thế, phản thực tế có dẫn đến kết quả tốt hay xấu vẫn là một thách thức," Ho viết.

Ông lập luận rằng việc mở rộng quy mô (scaling) đơn thuần sẽ không giải quyết được vấn đề này và dự đoán các phòng thí nghiệm AI sẽ phải chi hơn 100 tỷ USD cho việc thu thập dữ liệu mục tiêu trong những năm tới. Ho cũng hoài nghi về mức định giá cao ngất ngưởng tại các phòng thí nghiệm tiên phong như OpenAI hay Anthropic, những nơi mà ông cho là thường xuyên không có lãi vì phải liên tục đổ những khoản tiền ngày càng lớn vào các mô hình mới chỉ để duy trì vị thế trước các đối thủ giá rẻ hơn như Qwen hay Kimi.

Các sản phẩm đầu tiên của ông nhắm vào hai lĩnh vực. Một là các tập dữ liệu cho các phân tích khoa học phức tạp trong lĩnh vực tin sinh học, nơi mà ngay cả các mô hình hiện tại như GPT-5.6 Sol cũng chỉ đạt tỷ lệ thành công khoảng 30 phần trăm – một chủ đề ông từng nghiên cứu tại OpenAI. Hai là các tập dữ liệu cho công việc phòng thí nghiệm hàng ngày, chẳng hạn như khi các nhà nghiên cứu gửi ảnh chụp thí nghiệm cho các mô hình AI để đánh giá. Hóa học, khoa học vật liệu, chăm sóc sức khỏe và các công việc tri thức rộng hơn đang nằm trong kế hoạch tiếp theo.

Các mô hình mới nhất có thể đang trở nên sắc bén hơn ở một số lĩnh vực nhưng lại kém đi ở những lĩnh vực khác.

Nhà nghiên cứu Adam Hunt tại Cambridge cũng chia sẻ sự hoài nghi của Ho. Hunt mô tả cách nhìn nhận của ông về LLM đã chuyển từ lạc quan sang ngày càng bi quan. Lập luận của ông là các mô hình mới nhất không trở nên đa năng hơn mà lại chuyên biệt hóa hơn. Khả năng lập trình và toán học phức tạp liên tục cải thiện, trong khi các lĩnh vực như chất lượng ngôn ngữ và logic đơn giản lại đang trì trệ hoặc thậm chí tệ hơn, điều này phù hợp với quan sát của Ho về hiệu suất không đồng đều.

Hunt cho biết lý do là học tăng cường (reinforcement learning) hoạt động tốt trong một lĩnh vực như mã nguồn vì ở đó tồn tại các tín hiệu phần thưởng rõ ràng và dữ liệu huấn luyện đầy đủ. Trong các lĩnh vực khác, dữ liệu đó đơn giản là không có sẵn. Những tiến bộ ban đầu của các mô hình ngôn ngữ lớn và khả năng khái quát hóa rõ ràng của chúng thông qua quy mô và suy luận thuần túy chỉ là tác dụng phụ của việc huấn luyện trên một kho văn bản rộng lớn. Đó không phải là dấu hiệu của sự hiểu biết tổng quát thực sự.

Câu hỏi về khả năng khái quát hóa vẫn còn bỏ ngỏ.

Cuộc tranh luận này liên tục quay trở lại cùng một câu hỏi: liệu các mô hình ngôn ngữ có thể phát triển các khả năng vượt xa việc tái tạo và kết hợp lại dữ liệu huấn luyện của chúng hay không, đặc biệt là trong những lĩnh vực mà kết quả không thể được xác minh tự động? Các nhà khoa học vẫn chưa thống nhất về câu trả lời.

Bản thân Hunt chỉ đặt niềm tin vào khoảng 40 phần trăm và thừa nhận rằng những tiến bộ kỹ thuật có thể chứng minh ông sai, ví dụ như nếu các mô hình AI chuyên biệt có thể được kết hợp thành một thứ gì đó giống với trí tuệ tổng quát hơn.

Trong một bài báo quan điểm gần đây có tiêu đề "LLMs can't jump" (LLM không thể nhảy vọt), Tom Zahavy từ Google Deepmind đưa ra lời giải thích mang tính cấu trúc cho lý do tại sao các mô hình lại không đồng đều. Các mô hình ngôn ngữ giỏi về diễn dịch và quy nạp nhưng lại thất bại ở khả năng suy diễn sáng tạo (abduction), nghĩa là khả năng phát minh ra một nguyên nhân mà chưa có tiền lệ ngôn ngữ nào tồn tại. Như một giải pháp khả thi, Zahavy chỉ ra các mô hình thế giới có thể kiểm soát hành động (action-controllable world models) cho phép thực hiện các thí nghiệm phản thực tế. LLM vẫn có thể đóng vai trò quan trọng trong các hệ thống tiên tiến như vậy, ngay cả khi chúng đạt đến giới hạn khi hoạt động độc lập.

Tin tức AI không cường điệu – Được tuyển chọn bởi con người.

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo tiên phong "AI Radar" độc quyền sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và tham gia phần bình luận của chúng tôi.

Đăng ký ngay.