Nathan Lambert: Tại sao tôi vẫn hoài nghi về khả năng tự cải tiến đệ quy (RSI) của AI

Chúng ta đang ở trong một kỷ nguyên mà một vài tổ chức đang sử dụng hàng ngàn tác nhân (agent) đồng thời để cải thiện quy trình và sản lượng của họ. Những tổ chức này tình cờ lại chính là các phòng thí nghiệm AI tiên phong, cụ thể là OpenAI và Anthropic. Trong vài tuần qua, tôi đã suy ngẫm về việc hàng loạt nhân viên tại các tổ chức này nhanh chóng cập nhật kỳ vọng của họ về tốc độ tiến bộ của AI và những rủi ro liên quan có ý nghĩa như thế nào.

Một quan điểm cốt lõi của tôi là các phòng thí nghiệm tiên phong và văn hóa cạnh tranh đầy cuồng nhiệt trong giới AI tại San Francisco đã tạo ra một môi trường khuếch đại bất kỳ mối lo ngại nào về AI. Điều này có một số lợi ích trong việc nâng cao nhận thức của công chúng về AI, vì nỗi sợ hãi rất dễ lan truyền, nhưng việc phóng đại thời gian biểu hoặc mức độ nghiêm trọng của rủi ro sẽ gây ra những tác động tiêu cực gián tiếp. Tôi nhớ rất nhiều cuộc tranh luận ồn ào về an toàn AI, cùng những đám mây mù bao phủ khả năng tồn tại của AI mã nguồn mở trong năm 2023 và 2024 — những rủi ro chính khi đó đã không xảy ra đúng như các mốc thời gian được dự báo.

Ngay cả một năm trước, phần đông nhân sự tại hai phòng thí nghiệm chủ chốt này đã rất lo lắng về các rủi ro AI và tốc độ tiến bộ, đặc biệt là khi các tác nhân đạt được sự phù hợp với thị trường sản phẩm (product-market fit) mạnh mẽ hơn vào đầu năm 2026. Tiền đề văn hóa này, khi đối mặt với thực tế rằng hàng ngàn tác nhân sẽ liên tục làm việc khá hiệu quả trong doanh nghiệp của bạn, sẽ chỉ làm gia tăng nỗi lo âu này. Bước chuyển từ nỗi lo âu này, cùng với các sự cố như OpenAI-HuggingFace, đến rủi ro diệt vong nghe có vẻ mang màu sắc tôn giáo.

Chia sẻ

Richard Ngo đã có một bản tóm tắt rất xác đáng về tình hình:

Hiện nay, một bộ phận lớn cộng đồng an toàn AI đang ngầm hoặc công khai hướng tới những tương lai nơi một vụ nổ trí tuệ (intelligence explosion) xảy ra trong vòng vài năm tới. Kỳ vọng mặc định của tôi (nếu không có một khoảng dừng kéo dài) là một điều tương tự sẽ xảy ra: họ sẽ đúng về mặt định hướng (so với kỳ vọng của hầu hết những người không liên quan đến cộng đồng này) nhưng lại sai về mặt thực tế. Cụ thể, chúng ta sẽ không có siêu trí tuệ trong vòng 8 năm tới, nhưng mọi thứ vẫn sẽ chuyển động nhanh đến mức cảm giác như những người lập luận về các mốc thời gian ngắn là đúng.

… Tôi muốn nói điều này ngay bây giờ vì cảm giác như làn sóng chạy theo “điểm kỳ dị sớm” (singularity soon) đang trở nên khá điên rồ.

Cá nhân tôi nghĩ quan điểm này phù hợp chặt chẽ với những gì tôi đã phác thảo trong kịch bản thay thế của mình cho khả năng tự cải thiện đệ quy thực sự (RSI), mà tôi gọi là tự cải thiện có tổn hao (lossy self-improvement). Tóm tắt quan điểm này là:

Nghiên cứu có thể tự động hóa là quá hẹp để đạt được sự tăng tốc ròng lớn trong tiến bộ, khi đối mặt với chi phí theo cấp số nhân của các định luật mở rộng (scaling laws),

Lợi nhuận giảm dần của việc sử dụng nhiều tác nhân AI song song là có thật, &

Các nút thắt về tài nguyên và chính trị là yếu tố chính trong việc xây dựng các LLM mạnh (và AI có thể làm rất ít để thúc đẩy điều này).

Vì vậy, tôi đang cân bằng giữa sự gia tăng tiềm ẩn trong bầu không khí văn hóa nêu trên với khả năng các phòng thí nghiệm đã chứng kiến những đột phá cụ thể, đáng sợ thực sự mà chưa công bố. Tôi kỳ vọng rằng phần lớn mối lo ngại về an toàn AI hiện nay nằm ở vế trước – các tác nhân quy mô lớn đang hoạt động – nhưng tôi vẫn giữ mức độ không chắc chắn cao ở đây. Những đột phá AI mang tính nền tảng dựa trên trí tưởng tượng là kiểu sự kiện sẽ khiến tôi cập nhật các mốc thời gian RSI của mình từ một công cụ duy trì tiến bộ trước các chi phí theo cấp số nhân (scaling laws), sang một thứ gì đó khó dự đoán và/hoặc bất ổn hơn.

Một số tài nguyên gần đây tốt nhất về RSI là các podcast của Dwarkesh với Noam Brown và bộ ba John Schulman, Beren Millidge và Charlie O’Neill. Tôi có một vài suy ngẫm quan trọng từ cả hai nguồn này.

Đầu tiên, podcast với Noam Brown đã giúp tôi thấu hiểu việc năng lực suy luận (inference capacity) quy mô lớn là một sự tăng tốc ngắn hạn khủng khiếp như thế nào. Các phòng thí nghiệm này sẽ ném hàng ngàn tác nhân vào các vấn đề quan trọng, có thể đo lường được. Đồng thời, năng lực tính toán sẵn có cho họ sẽ tiếp tục mở rộng. Tôi nghi ngờ việc các phòng thí nghiệm có thể đủ khả năng dành một phần cố định của nguồn tính toán này cho R&D nội bộ khi tổng khối lượng tăng lên, đặc biệt là với các kế hoạch IPO, khi họ phải đối mặt với sự giám sát chặt chẽ hơn về kinh tế cơ bản. Điều quan trọng là không nhầm lẫn giữa những bước tiến lớn trong việc mở rộng quy mô thời gian suy luận (inference-time scaling) – một động lực khá dễ dự đoán – với kết quả của RSI, vốn là điều rất khó chắc chắn.

Thứ hai, podcast của bộ ba tranh luận về trạng thái kỹ thuật hiện tại đã tạo ra một phản ứng bất ngờ mà tôi chưa hoàn toàn định hình được. Trong khoảng một giờ đầu tiên của podcast, nơi họ tranh luận về vai trò của RL, chưng cất (distillation), mở rộng quy mô, tính toán thời gian suy luận, v.v., tôi thấy mình hoàn toàn đồng ý với các luận điểm được đưa ra. Tóm tắt lại là các kỹ thuật hiện tại của chúng ta hoạt động tốt và cho phép giải quyết các vấn đề mà chúng ta biết cách đặt ra, nhưng chúng không dẫn đến mức độ tổng quát hóa kỳ diệu cho các vấn đề khó hơn, chưa biết trong hầu hết các lĩnh vực có thể kiểm chứng một phần (ví dụ: tiến bộ trong toán học là một ngoại lệ, chứ không phải quy luật).

Sự bất ngờ của podcast này nằm ở phần cuối, nơi họ dự đoán các mốc thời gian cho các ngưỡng AI khác nhau. Tôi đã nhờ GPT-6-Astra tóm tắt các câu trả lời cho ba câu hỏi từ Dwarkesh, theo dạng “khi nào AI sẽ đạt được khả năng X”:

Tất cả các mốc thời gian đều tương đối so với ngày phỏng vấn.

Nhân viên từ xa thay thế cho công việc văn phòng phổ thông trong một tháng

Charlie O’Neill: ~1 năm với quyền truy cập lập trình vào các công cụ tại nơi làm việc; ~2 năm nếu phải vận hành qua trình duyệt. Nghĩa là công việc văn phòng thông thường, không phải nghiên cứu đòi hỏi tính sáng tạo cao.

Beren Millidge: ~3 năm để đạt được tính tổng quát đầy đủ; 80–90% phạm vi sớm hơn. Những điểm không chắc chắn chính: học trực tuyến (online learning) và phần đuôi dài (long tail) của các tác vụ.

John Schulman: ~1 năm cho một phiên bản “tạm ổn”, với các khả năng không đồng đều và sẽ cải thiện theo thời gian.

Tăng năng suất 10 lần cho các nhà nghiên cứu AI

Charlie O’Neill: 5–10 năm. Nút thắt: tiếp thu thông tin và quyết định thí nghiệm nào cần thực hiện tiếp theo.

Beren Millidge: Thấy ước tính ~2 năm của John là hợp lý, nhưng không đưa ra mốc thời gian độc lập. Giả định AI có thể chạy các thí nghiệm liên tiếp và học hỏi từ phản hồi; các nút thắt khác vẫn sẽ tồn tại.

John Schulman: ~2 năm.

AI vượt qua các chuyên gia hàng đầu của con người trong tất cả các công việc dựa trên máy tính, bao gồm cả các dự án kéo dài nhiều năm (“ASI”)

Charlie O’Neill: 5–10 năm. Nhấn mạnh những hạn chế về bộ nhớ và độ dài ngữ cảnh (context length).

Beren Millidge: ~5 năm cho các lĩnh vực mà các phòng thí nghiệm tập trung vào; có thể lâu hơn cho mọi lĩnh vực theo nghĩa đen. Không đưa ra mốc thời gian chắc chắn cho phiên bản phổ quát.

John Schulman: 3–4 năm. Các lĩnh vực không gian/vật lý có thể mất nhiều thời gian hơn; đòi hỏi quá trình làm quen và giải quyết việc học tập dài hạn hơn.

Nhìn chung, một vấn đề lặp đi lặp lại khi thảo luận về RSI là thiếu sự đặc tả về trí tuệ. Sự gập ghềnh (jaggedness) của trí tuệ có nghĩa là chúng ta cần thảo luận về các ngưỡng trong các tác vụ cụ thể, có thể đo lường được. Bản chất trí tuệ của các LLM được định hình rất khác so với con người, và các vai trò mà chúng ta dự báo lại mang hình thái con người. Do đó, AI không vượt qua các ngưỡng như nhân viên từ xa hay nhà nghiên cứu AI một cách rời rạc. Đó là một sự khuếch tán chậm, và một dạng đuôi dài sẽ luôn tồn tại.

Hãy lấy trường hợp năng suất của các nhà nghiên cứu AI. Nhiều người đánh giá thấp việc khoa học là sự giao tiếp và thiết lập tiêu chuẩn với đồng nghiệp như thế nào. Tôi tin vào chu kỳ thiết kế thí nghiệm và kiểm thử sẽ nhanh hơn 10 lần trong tương lai gần, nhưng không phải là việc tạo ra giả thuyết và xây dựng trực giác. Tăng tốc sự hiểu biết sẽ là nút thắt chính – và đó là điều mà bất chấp tất cả các công cụ AI được cải thiện đáng kể, con người cũng chỉ cải thiện khả năng của mình một cách hạn chế. Một cải tiến lớn trong bản chất của khoa học sẽ là cho phép con người đầu tư nhiều thời gian hơn vào đây, thay vì họ trở nên giỏi hơn gấp bội trong việc đó.

Để lại bình luận

Điều này liên kết trở lại với podcast của Noam. Các bầy tác nhân (agent swarms) trong tương lai gần sẽ hiệu quả trong việc giải quyết các vấn đề mở, rõ ràng với các câu trả lời có thể kiểm chứng. Theo hướng này, khi nói đến việc cải thiện các mô hình AI, RSI hữu ích hơn nhiều ở khía cạnh hiệu quả thay vì mở rộng trí tuệ đỉnh cao. Điều này là do việc phục vụ LLM có các chỉ số rõ ràng mà bạn muốn cải thiện, vốn có thể đo lường và điều chỉnh được. Điều này sẽ cho phép mở rộng quy mô thời gian suy luận tốt hơn và các hệ thống đa tác nhân hiệu quả hơn.

Tuy nhiên, tôi không thể vượt qua thực tế rằng tất cả các định luật mở rộng của chúng ta đều cho thấy bạn cần tính toán và tài nguyên theo cấp số nhân để tạo ra những cải tiến tuyến tính về trí tuệ. RSI đang sẵn sàng để làm cho các LLM hiện đại rẻ hơn đáng kể. Các xu hướng cho thấy LLM trở nên rẻ hơn theo cấp số nhân ở một mức trí tuệ nhất định có khả năng sẽ tăng tốc. Một yếu tố quan trọng đối với các phòng thí nghiệm sẽ là tăng biên lợi nhuận vì doanh thu có khả năng chịu áp lực tiêu cực nếu có sự cạnh tranh khốc liệt trong việc giảm giá ở cùng một mức trí tuệ — nghịch lý Jevons (Jevons paradox) có khả năng sẽ chiếm ưu thế, dẫn đến các doanh nghiệp mạnh.

Các yếu tố RSI sẽ gặp khó khăn hơn nhiều trong việc cải thiện các mảnh ghép của LLM như quản lý các công thức hậu đào tạo (post-training) phức tạp. Có một vài trích dẫn từ John Schulman mà tôi hoàn toàn đồng ý về trạng thái hậu đào tạo tại các phòng thí nghiệm:

Nếu tôi nghĩ về một đội ngũ hậu đào tạo và lý do tại sao bạn cần nhiều người trong nhóm, thì chỉ vì có rất nhiều lĩnh vực khác nhau mà bạn phải tìm ra cách mô hình nên hành xử. Sẽ rất khó để tự động hóa toàn bộ, chỉ vì ai đó phải suy nghĩ về cách mô hình nên hành xử trong lĩnh vực này.

và sau đó:

Rất dễ để làm hỏng quá trình hậu đào tạo theo cách nào đó mà không hiển thị trong các bài kiểm chuẩn (benchmarks).

Những tác vụ này đặc biệt khó đối với các LLM hiện tại. Đúng, chúng sẽ tốt hơn khi ngành công nghiệp vẫn đang nhanh chóng mở rộng các môi trường RL liên quan đến các lĩnh vực này, nhưng mô hình này không kéo dài mãi mãi. Trong tương lai gần, việc hình thành, xây dựng và kiểm thử các môi trường mới thách thức các LLM hàng đầu một cách có ý nghĩa có thể trở nên khó khăn hơn theo cấp số nhân – những môi trường khó này là yếu tố quan trọng như một tín hiệu học tập trong RL.