Cuộc đối thoại về tương lai của khả năng tự cải tiến đệ quy (RSI) trong AI

Tập mới với John Schulman, Beren Millidge và Charlie O’Neill.

Tôi đã có dịp trò chuyện cùng một số nhà nghiên cứu AI sâu sắc nhất mà tôi biết, những người đang làm việc tại các công ty có xu hướng cởi mở, vì tôi muốn lắng nghe chi tiết về những gì thực sự đang diễn ra ở ranh giới công nghệ và điều gì sẽ đến tiếp theo.

Xem trên YouTube; nghe trên Apple Podcasts hoặc Spotify.

Antithesis giúp bạn tin tưởng vào mã nguồn của mình. Khi các tác nhân (agents) ngày càng tạo ra nhiều phần mềm hơn, nút thắt cổ chai sẽ chuyển từ việc các kỹ sư phải viết mã sang việc kiểm chứng mã đó. Antithesis thực hiện việc kiểm thử đó thay cho bạn. Ron Minsky, đồng lãnh đạo nhóm công nghệ tại Jane Street, chia sẻ với tôi rằng Antithesis đã giúp đội ngũ của ông phát hiện ra các lỗi trong phần mềm vốn đã trải qua quá trình đánh giá kỹ lưỡng. Nếu bạn muốn biết cách tích hợp nó vào quy trình phát triển của mình, hãy truy cập antithesis.com/dwarkesh

Grok Bot là một công cụ tuyệt vời để bàn giao công việc. Nhóm của tôi sử dụng nó như một nhà sản xuất: bất cứ khi nào biên tập viên của tôi đăng bản nháp của một cuộc phỏng vấn lên Slack, Grok Bot sẽ tự động mở bản ghi chép trên máy tính của nó, khớp các ghi chú của tôi với những thời điểm cụ thể mà chúng đề cập đến, và sử dụng tệp tùy chọn của tôi để gợi ý chỉnh sửa. Sau đó, nó gửi cho tôi các đoạn clip tiềm năng nhất để tôi có thể xem xét mọi thứ ngay trên điện thoại, giúp các biên tập viên của tôi không phải mất công lọc qua hàng giờ cảnh quay. Hãy tự mình trải nghiệm Grok Bot tại x.ai/bot

Jane Street vừa khởi động cuộc thi tham vọng nhất từ trước đến nay: thiết kế một ASIC giả lập giao thức. Về cơ bản, nếu bạn có một con chip muốn thử nghiệm bên ngoài hệ thống thực tế, bạn có thể kết nối nó với thiết kế của mình và mô phỏng lưu lượng truy cập thực tế. Jane Street mong muốn các thiết kế đa năng, có thể lập trình lại, hoạt động trên nhiều giao thức khác nhau và vẫn hữu ích khi các giao thức mới xuất hiện. Những bài dự thi sáng tạo nhất sẽ được hiện thực hóa thành chip vật lý (tape out), và người chiến thắng sẽ nhận được một bản sao vật lý! Cuộc thi mở đơn đến ngày 18 tháng 1 năm 2027 và khuyến khích các đội tham gia. Để bắt đầu, hãy tải xuống mã mẫu tại janestreet.com/dwarkesh

(00:00:00) – Phản biện lập luận chống lại RSI (Recursive Self-Improvement - Tự cải thiện đệ quy)

(00:18:39) – Điều gì đang thúc đẩy sự tiến bộ của các phòng thí nghiệm Trung Quốc

(00:28:06) – Các nhà nghiên cứu AI tự động sẽ được huấn luyện như thế nào

(00:33:51) – Liệu RL (Học tăng cường) tầm nhìn xa có tạo ra AGI?

(00:45:24) – Khoảng cách giữa mô phỏng và thực tế (sim-to-real gap)

(01:00:33) – Bao nhiêu phần trăm tiến bộ được giải thích bởi dữ liệu?

(01:18:03) – Tại sao RL lại hoạt động hiệu quả đến vậy?

(01:24:54) – Nước đi 37 và sự sụp đổ entropy

(01:28:32) – Các mốc thời gian phản ứng nhanh

Dwarkesh Patel

Hôm nay, tôi đang trò chuyện với ba người bạn là nhà nghiên cứu AI của tôi, những người mà tôi học hỏi được rất nhiều mỗi khi chúng tôi trao đổi. Họ cũng tình cờ làm việc tại các phòng thí nghiệm và công ty khá cởi mở, vì vậy các bạn có thể thực sự nói những điều công khai. Tham gia cùng tôi là Beren Millidge, CTO của Zyphra, đơn vị đang phát triển các mô hình mã nguồn mở. John Schulman là nhà khoa học trưởng tại Thinking Machines, trước đây là đồng sáng lập OpenAI và đã dẫn dắt công trình RLHF dẫn đến ChatGPT. Và Charlie O’Neill là trưởng bộ phận huấn luyện mô hình tại Baseten.

Câu hỏi đầu tiên của tôi: Nếu chúng ta đang ở năm 2036 và không có hàng tỷ siêu trí tuệ điên rồ nào đang chạy xung quanh làm thay đổi thế giới một cách triệt để, thì lý do khả dĩ nhất khiến điều đó không xảy ra là gì? Ngoài các cú sốc chính trị ngoại lai, chiến tranh, hoặc lệnh cấm AI hay những thứ tương tự. Đâu là lý do kỹ thuật khả dĩ nhất khiến năm 2036 không trở thành một thế giới siêu trí tuệ ngoài hành tinh điên rồ?

Beren Millidge

Có một hiện tượng kinh điển, gần giống như nghịch lý Moravec, nơi chúng ta nghĩ về AI rằng: "Nếu nó có thể làm được việc này, nó sẽ rất tuyệt vời." Nếu nó có thể giải các bài toán khó, nếu nó có thể thắng cờ vua, vân vân... Sau đó, nó giải được những thứ này, nhưng lại không tạo ra tác động lớn như vậy. Rõ ràng là nó có tác động nhất định, nhưng không phải là tất cả.

Nếu bằng cách nào đó điều đó tiếp tục, và không bao giờ có tia sáng thực sự của sự tổng quát hóa (generalization) xuất hiện, tôi nghĩ điều đó có thể dẫn đến việc AI chỉ cực kỳ giỏi trong mọi thứ mà con người đưa vào một bộ tiêu chuẩn (benchmark) hoặc một môi trường. Nhưng vẫn còn đó một khoảng cách sim-to-real dai dẳng đang chặn đứng mọi thứ. Tôi nghĩ điều này khó xảy ra. Chúng ta thực sự đã thấy kiểu tổng quát hóa này ngay cả từ RL trong thực tế rồi. Nhưng nếu việc tổng quát hóa meta-learning là cực kỳ khó, cộng với việc chúng ta không giải quyết được continual learning (học liên tục) và nó quá khó đến mức bất khả thi... Đây sẽ là kịch bản mặc định của tôi trong trường hợp đó.

John Schulman

Tôi đồng ý với điều đó. Con người hiện có rất nhiều lợi thế so với các mô hình. Mỗi khi một mô hình mới ra đời, nó sẽ bắt kịp trong một số lĩnh vực này. Nhưng bạn sẽ bị nghẽn ở những nơi mà mô hình yếu hơn và có khả năng phán đoán kém hơn, hoặc các mô hình không thể tự kiểm tra bản thân đủ tốt.

Có một chu kỳ cứ lặp đi lặp lại là một mô hình mới ra đời và mọi người bị choáng ngợp và họ kiểu như: "Đây rồi. Đây chính là AGI." Nhưng sau đó họ sử dụng nó một chút, và nó bắt đầu trở nên ngớ ngẩn sau khoảng một tháng. Chu kỳ đó có thể cứ tiếp diễn. Thật khó để dự đoán nó sẽ lặp lại bao nhiêu lần.

Hiện tại, bạn không có sự tăng trưởng bùng nổ về năng lực vì bạn vẫn bị nghẽn đủ nhiều khi cố gắng thực hiện nghiên cứu và kỹ thuật. Ngay cả khi mô hình có thể viết nhiều mã hơn con người, nó cũng không làm bạn năng suất gấp 100 lần. Vì vậy, có lẽ chỉ là có nhiều chu kỳ như vậy hơn chúng ta mong đợi.

Charlie O’Neill

Đối với tôi, đó là câu hỏi về việc tối ưu toàn cục của "một người học mà bạn có thể đặt trên một con chip" cách xa công thức hiện tại (transformer + RL) bao nhiêu. Mọi người tưởng tượng rằng một khi bạn có một tác nhân giỏi hơn tất cả con người trong nghiên cứu AI, ngay cả khi nó chỉ giỏi hơn 0,1%, thì việc bạn có thể chạy hàng trăm nghìn, nếu không muốn nói là hàng triệu tác nhân này song song — và bạn có thể chạy chúng nhanh hơn nhiều khi chip tăng tốc — sẽ vượt qua mọi nút thắt khác. Cuối cùng bạn sẽ đạt được sự cất cánh rất nhanh liên quan đến việc tự cải thiện.

Tôi có thể tưởng tượng rằng nếu chúng ta tiếp tục đi theo quỹ đạo hiện tại với mô hình đó, nơi về cơ bản là self-attention, RL, mở rộng quy mô các môi trường RL... Hãy nghĩ về những gì đã xảy ra với định luật Moore. Chúng ta đã có một đường thẳng rất đẹp và điều đó kéo dài trong một thời gian rất, rất dài. Nhưng đã có rất nhiều sự gián đoạn rời rạc và đổi mới phải xảy ra để giữ cho định luật mở rộng đó tiếp tục. Điều tương tự đã xảy ra với LLM. Chúng ta đã có định luật mở rộng tiền huấn luyện (pre-training scaling law), và sau đó nó đạt đến lợi nhuận giảm dần. Sau đó, chúng ta nghĩ ra RL và giải quyết được điều đó, và rồi chúng ta có một đường cong lợi nhuận giảm dần mới để đạt được, khiến nó tiếp tục trông giống như một đường thẳng đi lên.

Vì vậy, nếu nó đòi hỏi một trong những sự gián đoạn đó để giải quyết, tôi không chắc rằng phương pháp huấn luyện LLM hiện tại với các môi trường RL này, ngay cả các môi trường RL nhắm mục tiêu vào RSI, sẽ có thể khám phá ra sự gián đoạn đó. Nếu không, chúng ta có thể sẽ chạm vào đường cong tiệm cận này.

Dwarkesh Patel

Nhưng bạn có nghĩ rằng sự gián đoạn đó sẽ khó khăn hơn bất cứ điều gì đã xảy ra kể từ năm 2012 không?

Charlie O’Neill

Nếu chúng ta có câu trả lời cho điều đó, chúng ta sẽ có khả năng thực hiện nó. Nhưng có lẽ chúng ta nên phân biệt giữa một sự gián đoạn bổ sung vào mô hình hiện tại, mang tính tích lũy — có thứ gì đó vượt ra ngoài RL mà chúng ta phải khám phá, và có lẽ chúng có khả năng kết nối các điểm trên đường thẳng đó — hoặc, một lần nữa, chúng ta cách xa tối ưu toàn cục bao xa? Chúng ta có phải quay lại và loại bỏ gradient descent và mạng thần kinh nói chung không? Tôi không nghĩ rằng, nếu bạn tiếp tục mở rộng mô hình hiện tại, một LLM, bất kể bạn đang chạy bao nhiêu LLM, nhất thiết có khả năng khám phá ra điều đó nếu nó quá xa vời.

Dwarkesh Patel

Hy vọng duy nhất thực sự là nếu deep learning không thể đưa chúng ta đến một AI có thể ít nhất thống trị nghiên cứu và phát triển của con người, bao gồm cả khả năng của con người trong việc đưa ra các mô hình mới, v.v. Hoặc, tôi không biết, có lẽ con người cũng sẽ không bao giờ khám phá ra kiến trúc học tập tiếp theo. Nhưng ở mức độ mà con người có thể khám phá ra nó cuối cùng... Nhưng có vẻ như... Nếu bạn chỉ nhìn vào sự tiến bộ đã xảy ra từ năm 2012 đến nay, và bạn chỉ tiếp tục điều đó — tôi biết nó chỉ được thúc đẩy bởi lượng lớn việc mở rộng quy mô tính toán và vân vân — sẽ thật kỳ lạ nếu nó không đạt đến điểm mà nó có thể thống trị con người, ít nhất là trong R&D, đặc biệt là trong vài năm tới.

Ryan Greenblatt đã tham gia podcast gần đây. Anh ấy đã đưa ra quan điểm này mà tôi rất tò mò muốn biết suy nghĩ của các bạn. Bạn có thể tưởng tượng rằng, khi AI ngày càng có năng lực hơn, chúng có khả năng tạo ra tiến bộ trong các mô phỏng khuyến khích việc trở nên tốt hơn không chỉ trong R&D AI, mà còn trong khoa học nói chung. Đây là điều mà tất cả các phòng thí nghiệm đang nhắm tới và nhiều công ty khởi nghiệp đang nhắm tới.

Một ví dụ trực quan khác là nếu bạn nhìn vào điểm Elo của các bot cờ vua từ những năm 80. Có một sự gia tăng rất tuyến tính về Elo theo thời gian. Nhưng có một sự gián đoạn lớn khi chúng vượt qua phạm vi con người, từ việc các chuyên gia con người luôn thắng AI đến việc các chuyên gia con người không bao giờ thắng AI, khi sự gia tăng tuyến tính về Elo này xảy ra.

Tôi đồng ý với quan điểm của bạn rằng cho đến nay, năng lực AI vẫn chưa phải là vấn đề quá lớn về tác động kinh tế cuối cùng của chúng trên thế giới. Nhưng đó là vì chúng đang dần tăng Elo so với con người.

Beren Millidge