Góc nhìn về tập podcast của Dwarkesh Patel với Ryan Greenblatt

Một số podcast có tính tự gợi ý cao đến mức tôi muốn phân tích chúng nếu có cơ hội. Đây là một trong số đó, với tư cách là một cuộc tranh luận về khả năng tự cải thiện đệ quy (recursive self-improvement). Vậy nên, chúng ta bắt đầu thôi.

Như thường lệ đối với các bài viết về podcast, các gạch đầu dòng cơ bản mô tả những điểm chính được đưa ra, và các tuyên bố lồng ghép sau đó là bình luận của tôi. Một số điểm đã được lược bỏ.

Nếu tôi trích dẫn trực tiếp, tôi sẽ sử dụng dấu ngoặc kép, nếu không thì hãy hiểu đó là cách diễn giải lại.

Tiêu đề các phần được lấy từ bản ghi chép (transcript) bất cứ khi nào có thể để giúp việc theo dõi dễ dàng hơn.

Cuộc thảo luận thú vị xuyên suốt, mặc dù đôi khi gây thất vọng, đặc biệt là trong phần thảo luận (phần lớn là tách biệt) về việc ‘căn chỉnh với ai?’ (aligned to whom?). Như thường lệ, người ta có thể mở rộng nhiều phản hồi thành các bài viết đầy đủ, và có lẽ đó là điều nên làm.

Podcast này ra đời trong bối cảnh các sự kiện gần đây về sự lệch lạc (misalignment) và các vụ tấn công tại OpenAI, Anthropic và UK AISI. Bạn sẽ cần kiến thức cơ bản về điều đó làm nền tảng.

Cả Ryan và Dwarkesh đều có quan điểm về tình hình khác với tôi, nhưng họ đang cố gắng xem xét các vị thế của mình dẫn đến đâu, đồng thời cố gắng cân bằng giữa việc giáo dục những người bắt đầu từ con số không và việc thực hiện một cuộc thảo luận ở cấp độ cao.

Một bối cảnh quan trọng khác là The Three AI Pills. Không thể hiểu Dwarkesh trong trường hợp này nếu không coi ông là người ít nhiều đã "uống viên thuốc AGI" (AGI pilled), người nhận ra rằng AI sẽ là một vấn đề lớn và đáng sợ, nhưng chưa "uống viên thuốc ASI" (ASI pilled). Bạn cũng có thể thấy lý do ông từ chối viên thuốc đó, mà tôi hiểu đại khái là ông nghĩ AI chỉ học cách thực hiện [X] thông qua các ví dụ về [X], và sau đó AI chỉ có thể thực hiện những [X] đó, mặc dù việc kết hợp chúng và bối cảnh mới có thể cho phép những điều mới mẻ vừa phải xảy ra. Ông thừa nhận rằng ngay cả điều này đã là một vấn đề khá lớn rồi.

Bạn có thể thấy cách ông đi đến kết luận đó trong suốt nhiều năm và nhiều podcast, nếu bạn đã chú ý. Có rất nhiều ảnh hưởng dẫn đến hướng đó.

Ryan, đến từ Redwood Research, thuộc trường phái "mô hình đang âm mưu" (models be scheming) về sự lệch lạc, nơi mà khi có điều gì đó sai sót, các mô hình trở nên lệch lạc hoặc bắt đầu âm mưu, và mối nguy hiểm là các mô hình âm mưu, đặc biệt là theo những cách liên quan đến quy trình đào tạo. Tôi nghĩ điều này cố gắng vạch ra một sự phân biệt về thẩm quyền (magisteria) không tồn tại, và làm cho vấn đề trở nên phức tạp và cụ thể hóa quá mức, nhưng không sai.

Tôi gần với quan điểm của Ryan hơn là của Dwarkesh, và thực tế có thể được coi là đã đi xa hơn Ryan nếu chúng ta đặt điều này trên một phổ.

Việc để AI thực hiện R&D về AI không chỉ có nghĩa là nó sẽ diễn ra nhanh đến mức đáng sợ, mà còn có nghĩa là theo mặc định, nó sẽ tập trung vào những gì có thể đo lường được, và làm cho tất cả những thứ đang diễn ra sai lệch khủng khiếp trở nên tồi tệ hơn nhiều. Bạn sẽ rơi vào vòng xoáy của RLVR (Reinforcement Learning from Verifiable Rewards) để thực hiện RLVR cho các mô hình bị lệch lạc.

Liệu chúng ta có đạt được khả năng tự cải thiện đệ quy (RSI) hay không, và nhanh đến mức nào, đó mới là câu hỏi đúng. Chỉ đọc tiêu đề của phần này, tôi muốn nói ‘câu hỏi phụ sai rồi’ nhưng không muốn vội vàng kết luận.

Tôi sẽ nhóm các vấn đề theo thứ tự ‘logic’, không phải thứ tự chính xác mà mọi thứ đã được nói ra.

Dwarkesh sẽ là người hoài nghi. Ryan sẽ đưa ra lập luận ủng hộ RSI.

Ryan cho rằng R&D về AI là một loại nhiệm vụ mà AI đặc biệt giỏi vì đó là ưu tiên của các phòng thí nghiệm AI và nó có khả năng kiểm chứng cao.

Theo một cách nào đó thì đúng, theo cách khác thì không, nó rất phức tạp, vân vân. Việc kiểm chứng các thuộc tính căn chỉnh và nhiều thuộc tính mong muốn khác là vô cùng khó khăn, và nếu bạn chỉ tập trung vào các khả năng mà bạn có thể đo lường được thì Định luật Goodhart chắc chắn sẽ giết chết bạn. Nhưng có nhiều nhiệm vụ quan trọng, chẳng hạn như tối ưu hóa hiệu suất, nơi bạn thực sự có thể thực hiện kiểm chứng mạnh mẽ.

Ryan chỉ ra việc thực hiện các phiên bản đơn giản hơn của các nhiệm vụ R&D tiêu chuẩn như đào tạo mô hình.

Với tôi, việc bạn có thể kiểm chứng các nhiệm vụ này một cách dễ dàng hay không là điều không hoàn toàn rõ ràng, trừ khi bạn muốn đào tạo AI để thực hiện benchmaxxing thuần túy, nhưng các nhiệm vụ cũ đơn giản hơn như thế này cũng không rõ ràng là có thể khái quát hóa cho R&D về AI trong tương lai.

Đề xuất này dường như là một canh bạc cụ thể rằng các nhiệm vụ trong tương lai sẽ phản ánh chặt chẽ các nhiệm vụ trong quá khứ, và bạn có thể thực hiện đào tạo tương đối hẹp. Dự đoán của tôi là điều này thực sự không hiệu quả đến thế, và bạn sẽ làm tốt hơn bằng cách chủ yếu đào tạo một mô hình có khả năng tổng quát rồi mới chuyển nó sang R&D về AI. Bài học đắng cay (Bitter lesson).

Phương pháp hẹp này càng được thảo luận nhiều thì tôi càng thấy nó có vẻ bị kết án, vì nó sẽ là RLVR để thực hiện RLVR cho các mô hình bị lệch lạc. Ôi không.

Nghiêm túc mà nói, ôi không, nếu bạn đào tạo về việc ‘học cách đạt được mức mất mát (loss) [X] nhanh hơn’ thì thật khó để tưởng tượng một kế hoạch nào nghe có vẻ bi đát hơn thế.

Rất nhiều ML tốt, đặc biệt là ML tiên phong (frontier ML), đối với tôi dường như là việc tìm ra những gì bạn có thể làm, và tìm kiếm bất cứ thứ gì, thay vì cố gắng tăng hiệu quả một cách cộng dồn vào một mục tiêu cố định.

Tôi nghĩ AI có thể làm được điều đó. Tôi không tin vào cái khung ‘mọi thứ AI làm đều là kết hợp những thứ đã được thực hiện’ đang lan truyền ở đây.

Ryan nói rằng ML dễ dàng hơn đối với AI so với toán học theo nhiều cách vì trong toán học, rất khó để biết liệu bạn có gần với lời giải hay không, trong khi các giải pháp ML thường mang tính cộng dồn và bạn có thể kết hợp các phần dự kiến. Dwarkesh phản bác rằng ngay cả trong toán học, ông vẫn chưa thấy các bước nhảy vọt về khái niệm (conceptual leaps) từ AI, và rằng ML liên quan đến các bước nhảy vọt về khái niệm. Ryan đáp lại rằng AI có thể thực hiện ‘lý thuyết mới đầu đời’ (baby’s first new theory) và việc yêu cầu nó (như Dwarkesh đã làm) lặp lại sự ra đời của lý thuyết nhóm là một yêu cầu quá sức.

Tôi không biết nữa. Toán học có không gian hành động nhỏ gọn và các mục tiêu cố định đơn giản thay vì có nhiều cạm bẫy trong một không gian phản quy nạp (anti-inductive space). Một lần nữa, có cảm giác rằng những gì được gọi là ‘ML’ ở đây giả định rằng bạn thực sự chỉ quan tâm đến hàm mục tiêu hoặc hàm mất mát của mình, và điều đó đơn giản là không đúng.

Toán học đôi khi cũng liên quan đến các bước nhảy vọt về khái niệm, và đúng là chúng ta chưa thấy AI làm điều đó, nhưng hãy cho nó thời gian và tôi cũng không cảm thấy chúng ta đã cố gắng hết sức.

Nhìn chung, tôi cảm thấy ‘các bước nhảy vọt về khái niệm’ là sự dịch chuyển mục tiêu mới nhất trong một truyền thống lâu đời, bao gồm Bài kiểm tra Turing và ‘Đó có phải là kiến thức mới không?’. Bây giờ, nó chỉ là kiến thức mới nếu nó đến từ vùng nhảy vọt về khái niệm.

Tôi đặc biệt đồng ý với Ryan rằng việc yêu cầu ‘phát minh ra lý thuyết nhóm’ là một cách đặt mục tiêu vô lý, và có khả năng chỉ xảy ra sau khi tất cả mọi người đã chết.

Tôi cảm thấy Ryan cũng đang phần nào bước vào cái bẫy này khi gợi ý rằng chúng ta nên đào tạo AI trên các nhiệm vụ ML hiện có theo cách hẹp, như một giải pháp cho ‘R&D về AI’.

Dwarkesh gợi ý rằng đến năm 2030, chúng ta sẽ ‘hái hết những quả chín thấp’ (picked the low hanging fruit). Ryan gợi ý rằng họ sẽ cần cái ‘gu nghiên cứu’ (research taste) đầy bí ẩn đó.

Bạn không thể hình dung được nó sẽ trông như thế nào nếu tất cả những quả chín thấp đều được hái tự động, bao gồm cả việc mua thang một cách dễ dàng. Hái những quả chín thấp sẽ làm hạ thấp những quả khác, và cứ thế tiếp tục.

Tôi không tin vào vị thần của những khoảng trống trong gu nghiên cứu, theo nhiều cấp độ.

Chúng ta đã thất bại trong tất cả 0 trên 0 nỗ lực nghiêm túc nhằm đào tạo gu nghiên cứu.

Dwarkesh gợi ý rằng đối với ML nâng cao, vòng lặp kiểm chứng của bạn sẽ dài hơn.

Một phần là đúng, đó là ý nghĩa của các ‘yolo runs’ và những thứ tương tự, ở chỗ bạn không thể nhận được phản hồi nhanh hơn và bạn thường không đủ khả năng để cô lập các biến số của mình.

Một phần là không đúng, theo nghĩa là rất nhiều điều làm cho bạn ‘giỏi nghiên cứu’ là tìm ra các vòng lặp chặt chẽ hơn, nơi bạn có thể ngoại suy và rút ra kết luận nhanh chóng, ngay cả khi bạn không thể công bố hoặc dựa vào chúng một cách chính xác.

Tôi nghĩ mọi người thường nhóm điều này dưới cái tên ‘gu nghiên cứu’, mà tôi coi là sự kết hợp giữa khả năng phân biệt các ý tưởng tốt và khả năng tìm ra các ý tưởng tốt. Chúng tương quan và chồng chéo nhưng không phải là một.