Tiến bộ thuật toán không phải yếu tố ngoại lai: Góc nhìn của Beren Millidge về điểm mù trong tranh luận giảm tốc AI

Đôi khi tôi có những cuộc thảo luận về việc làm chậm và tạm dừng AI, trong đó một lập luận chống lại việc tạm dừng là: tạm dừng không thể làm chậm mọi thứ về lâu dài. Ngay cả khi chúng ta kiểm soát tất cả các nguồn lực tính toán tập trung, thì cuối cùng, tiến bộ thuật toán cũng sẽ dẫn đến việc AI siêu thông minh có thể được huấn luyện trên GPU chơi game ngẫu nhiên của bất kỳ ai. Tại thời điểm đó, sẽ có một sự bùng nổ đột ngột và chúng ta sẽ chứng kiến một cuộc bùng nổ trí tuệ cực kỳ nhanh chóng, điều này rất nguy hiểm. Thay vào đó, người ta thường lập luận rằng an toàn hơn khi thực sự sử dụng tất cả năng lực tính toán cho việc huấn luyện AI để quá trình cất cánh diễn ra liên tục hơn và do đó, về mặt lý thuyết, an toàn hơn. Phần lớn tư duy này dựa trên ý tưởng rằng có một yếu tố gọi là "tiến bộ thuật toán" tiếp tục tăng ở mức 3-10 lần mỗi năm vô thời hạn, giúp hiệu suất AI liên tục tốt hơn với cùng một mức năng lực tính toán. Người ta thường lập luận thêm rằng vì tiến bộ thuật toán này nhanh hơn nhiều so với tiến bộ phần cứng, nên ví dụ như việc giới hạn lượng phần cứng tập trung hoặc tổng phần cứng AI là không liên quan, vì ngay cả khi chúng ta loại bỏ 90% phần cứng hiện có để huấn luyện AI, thì một năm sau chúng ta vẫn có các AI hiệu quả hơn 10 lần nhờ tiến bộ thuật toán, và do đó chúng ta chỉ mua thêm được tối đa một năm.

Điểm cốt lõi và rất đơn giản mà tôi muốn nêu ra ở đây là các lập luận kiểu này thường giả định rằng tồn tại một thứ gọi là "tiến bộ thuật toán" với tốc độ cố định mỗi năm và quan trọng hơn là nó mang tính ngoại sinh – nghĩa là nó không bị ảnh hưởng bởi các sự kiện khác trong ngành.

Chúng ta đã thấy một lập luận tương tự và sự thất bại với khái niệm "compute overhang" (dư thừa năng lực tính toán). Lập luận ở đây là các phòng thí nghiệm tiên phong nên sử dụng năng lực tính toán để tối đa hóa khả năng của AI, bởi vì ở một mức năng lực tính toán nhất định, chúng ta biết khả năng của AI là gì, điều này giúp sự tăng trưởng khả năng diễn ra mượt mà, dễ dự đoán hơn và "sử dụng hết phần dư thừa". Ngược lại, nếu chúng ta không sử dụng tất cả năng lực tính toán cho việc huấn luyện AI, "compute overhang" sẽ tiếp tục tích tụ và do đó có thể xảy ra một "cú hích" đột ngột cực kỳ nguy hiểm về khả năng nếu tại một thời điểm nào đó chúng ta quyết định chuyển toàn bộ năng lực tính toán từ các việc khác sang AI.

Lập luận này phần nào đúng nhưng tất nhiên nó giả định rằng sự tăng trưởng năng lực tính toán là một biến số ngoại sinh luôn xảy ra bất kể điều gì xảy ra trong lĩnh vực AI, từ đó cho phép "củi khô" tích tụ với cùng một tốc độ. Tất nhiên trong thực tế, điều đó đã không xảy ra. Sự tăng trưởng năng lực tính toán phần lớn được thúc đẩy bởi nhu cầu AI, và do đó, những nỗ lực giảm "compute overhang" bằng cách sử dụng năng lực tính toán thực sự đã tạo ra một vấn đề tồi tệ hơn nhiều và cuối cùng dẫn đến khả năng AI phát triển nhanh hơn.

Quan trọng là, một số lập luận về "compute overhang" ngầm định hoặc khẳng định rõ ràng rằng sự tăng trưởng năng lực tính toán thực tế là cố định, vì ví dụ như TSMC chỉ có thể tăng công suất nhà máy một cách chậm chạp, điều này đúng. Ngay cả với nhu cầu hiện nay, TSMC đang tăng cường xây dựng nhà máy nhưng không phải với tốc độ chóng mặt. Tuy nhiên, lập luận này bỏ qua các mức độ linh hoạt khác mà hệ thống có thể tận dụng nhanh hơn nhiều để đáp ứng nhu cầu AI. Chúng bao gồm việc tái phân bổ công suất nhà máy hiện có sang cho AI thay vì các mục đích sử dụng khác, và quan trọng hơn là phát triển các con chip phù hợp hơn nhiều với AI với cùng chi phí diện tích silicon. Các chip AI ngày nay từ Nvidia, AMD, v.v. hầu như không liên quan gì đến các GPU chơi game ban đầu vốn được tái sử dụng cho AI, và gần như chắc chắn rằng tiến bộ AI sẽ chậm hơn nhiều nếu chúng ta vẫn cố gắng huấn luyện các mô hình bằng GPU chơi game. Ngay cả khi vào năm 2030, thế giới bằng cách nào đó có một lượng lớn GPU chơi game dư thừa để đột ngột đổ vào huấn luyện AI, thì "compute overhang" này cũng sẽ kém hiệu quả hơn rất nhiều so với các con chip ngày nay.

Tôi lo ngại rằng chúng ta đang lặp lại chính xác những vấn đề tương tự với ý tưởng về "tiến bộ thuật toán" ngoại sinh. "Tiến bộ thuật toán" không phải là thứ manna từ trên trời rơi xuống với tốc độ không đổi. Nó được tạo ra bởi toàn bộ hệ sinh thái những người làm việc trong lĩnh vực AI – từ các nhà nghiên cứu AI đưa ra các thuật toán tốt hơn đến các công ty dữ liệu sản xuất dữ liệu giúp cải thiện AI về một số khả năng nhất định. Toàn bộ hệ sinh thái này bị ảnh hưởng rất lớn bởi tiến bộ AI nói chung. Nếu AI tiến bộ nhanh chóng, các công ty AI sẽ có nhiều tiền hơn, nhiều người bắt đầu học tập và làm việc về AI hơn, nhu cầu của các phòng thí nghiệm AI thúc đẩy các hệ sinh thái công ty hỗ trợ, nhiều nghiên cứu học thuật tập trung vào các vấn đề mà việc mở rộng quy mô AI đang gặp phải, và nhiều phần mềm cùng cơ sở hạ tầng hỗ trợ khác được xây dựng.

Bây giờ hãy tưởng tượng một thế giới phản thực tế nơi tiến bộ và mở rộng quy mô AI không hề lớn như hiện nay. Ngay cả khi tiến bộ thuật toán vẫn tiếp tục ở một mức độ nào đó – tức là có các học giả đang mày mò với mạng thần kinh trên các GPU chơi game được tái sử dụng – và giả sử một học giả nào đó vào năm 2030 tìm ra "thuật toán bí mật cho AGI". Tại thời điểm này, anh ta vẫn phải tìm cách để: a.) thành lập một công ty AI, vốn là một khái niệm mới lạ hơn nhiều đối với cả học giả và các nhà đầu tư mạo hiểm (VC), b.) khiến người khác tin vào ý tưởng này, c.) xây dựng một lượng lớn cơ sở hạ tầng hỗ trợ huấn luyện và suy luận để có thể chạy "thuật toán AGI mới lạ" một cách hiệu quả và ở quy mô lớn, d.) bằng cách nào đó tìm ra cách kết nối hàng triệu GPU chơi game rời rạc lại với nhau để huấn luyện và suy luận, v.v.

Ngược lại, nếu điều tương tự xảy ra ngày nay, anh ta xuất bản bài báo của mình và trong vòng vài giờ, các tác nhân AI tại nhiều phòng thí nghiệm AI trị giá hàng nghìn tỷ đô la sẽ ngay lập tức triển khai lại và thử nghiệm nó trên cơ sở hạ tầng của họ. Nếu nó hoạt động, họ có hàng trăm nghìn GPU siêu máy tính AI chuyên dụng cực mạnh để chạy nó, cũng như cơ sở hạ tầng hiện có để mở rộng quy mô huấn luyện thuật toán này trên một đội ngũ GPU siêu kết nối khổng lồ, cũng như khả năng suy luận để ngay lập tức tạo ra một "quần thể" hàng triệu AI như vậy chạy thuật toán mới này. Chiến lược "giảm dư thừa" của chúng ta do đó đã tạo ra chính xác phần dư thừa mà chúng ta lo ngại.

Chúng ta không nên mắc sai lầm tương tự về mặt khái niệm với tiến bộ thuật toán. Tiến bộ thuật toán là nội sinh đối với toàn bộ hệ sinh thái AI. Thay đổi điều đó và "tiến bộ thuật toán" có thể chậm lại hoặc tăng tốc.

Có lẽ sẽ hữu ích nếu lùi lại một bước và xem xét tiến bộ thuật toán thực sự là gì. Thông thường, nó được định nghĩa là lượng năng lực tính toán cần thiết để đạt được một mức độ nào đó trên một tiêu chuẩn (benchmark) theo thời gian, trong đó các mô hình sau này yêu cầu ít năng lực tính toán hơn. Trước đây, chúng ta đã thảo luận về việc chia khái niệm "tiến bộ thuật toán" thành "tiến bộ thuật toán thực sự" và "tiến bộ dữ liệu", vì phần lớn những cải tiến của LLM trên một số tiêu chuẩn nhất định liên quan đến dữ liệu "chất lượng cao hơn" đáng kể, nhắm mục tiêu trực tiếp vào chính các tiêu chuẩn đó. Dwarkesh và cộng sự đã thực hiện một nghiên cứu tương tự trong quá trình tiền huấn luyện và nhận thấy rằng một phần đáng kể, nhưng không phải tất cả, tiến bộ thuật toán thực sự đến từ các bộ dữ liệu tốt hơn thay vì những cải tiến nghiêm ngặt về kiến trúc và trình tối ưu hóa huấn luyện, v.v.

Nhìn rộng ra, cách tôi nghĩ về điều này là những gì các phòng thí nghiệm đã tạo ra thực sự là một cỗ máy leo đồi bán tự động (và đang ngày càng tự động hóa nhanh chóng). Họ, hoặc các công ty bên ngoài, tạo ra các tiêu chuẩn mà họ cho rằng đo lường một khía cạnh quan trọng nào đó của khả năng AI. Một khi điều này được coi là quan trọng, các phòng thí nghiệm sẽ mua dữ liệu hoặc môi trường RL từ hệ sinh thái các nhà cung cấp dữ liệu tương tự như tiêu chuẩn đó và huấn luyện các khả năng cần thiết cho tiêu chuẩn này. Sau đó, họ áp dụng năng lực tính toán để thực hiện các thử nghiệm cắt bỏ (ablations), thực hiện các đợt huấn luyện khác nhau và đặc biệt là RL quy mô lớn trên các môi trường huấn luyện các kỹ năng liền kề với tiêu chuẩn, sau đó khả năng của mô hình sẽ cải thiện trên tiêu chuẩn này và kỹ năng này. Rõ ràng là các phòng thí nghiệm không chỉ làm điều này cho một tiêu chuẩn duy nhất mà là một bộ nhiệm vụ khổng lồ cùng một lúc, vì vậy chúng ta quan sát thấy sự tăng trưởng khả năng khá mượt mà nhưng cũng rất "gai góc" khi một kỹ năng cụ thể nào đó đột nhiên trở thành mục tiêu leo đồi. Vì các phòng thí nghiệm thường là những người đầu tiên leo đồi trên tiêu chuẩn, theo sau là mã nguồn mở sau 1-2 thế hệ, nên chúng ta thấy mô hình điển hình là "Ôi chúa ơi, thật tuyệt vời, cuối cùng các mô hình cũng có thể làm X. AGI đã đến rồi!" theo sau là ba tháng sau đó, một mô hình Qwen 30B nhỏ hơn nhiều lại hoạt động ở cùng mức độ với thế hệ mô hình tiên phong trước đó.

Tuy nhiên, điều quan trọng cần lưu ý là giả sử trong giây lát có một sự tạm dừng cực kỳ quyết liệt. Tất cả việc huấn luyện mô hình AI đều bị cấm. Bây giờ, cơ sở hạ tầng và hệ sinh thái leo đồi này trở nên vô nghĩa. Nếu bạn không còn huấn luyện bất cứ thứ gì nữa thì không cần đến nó. Nó biến mất hoặc chuyển sang quốc gia khác. Không có định luật vật lý nào cho rằng việc leo đồi phải tiếp tục khi không có các đợt huấn luyện nào.

Bây giờ, hãy giả sử một kịch bản thực tế hơn, trong đó ví dụ như các đợt huấn luyện vượt quá một tổng số flop nhất định bị cấm. Ở đây mọi thứ trở nên thú vị hơn. Toàn bộ hệ sinh thái leo đồi vẫn có thể tồn tại, mọi người vẫn đang leo đồi nhưng với một mức trần. Có hai hiệu ứng thú vị xảy ra ở đây. Thứ nhất, nếu mức trần số flop khá thấp, điều này giúp ích rất nhiều cho sự cạnh tranh. Lợi thế chính của các phòng thí nghiệm tiên phong là lượng năng lực tính toán áp đảo của họ. Nếu họ không thể sử dụng năng lực tính toán đó cho các đợt huấn luyện, họ vẫn có thể sử dụng nó cho suy luận và các thử nghiệm cắt bỏ. Suy luận vẫn sẽ tạo ra doanh thu khổng lồ, nhưng cuối cùng chúng ta kỳ vọng rằng biên lợi nhuận đạt được sẽ giảm, từ đó tạo ra thặng dư tiêu dùng lớn hơn và ít dòng tiền tự do (FCF) hơn mà các phòng thí nghiệm có thể sử dụng để tiếp tục tối đa hóa tiến bộ AI nói chung. Các công ty dữ liệu có khả năng sẽ tiếp tục tồn tại nhưng trở nên chuyên biệt hơn và tập trung vào các ngành dọc khác không phải là RSI/lập trình thuần túy.

Cũng cần lưu ý rằng sẽ luôn có một số tiến bộ AI ngoại sinh hoặc gần như ngoại sinh xảy ra. Điều này chủ yếu đến từ giới học thuật và những người mày mò ngẫu nhiên, những người không thể bị ngăn chặn một cách có ý nghĩa. Các học giả sẽ luôn nghiên cứu về các thuật toán và ý tưởng AI mới lạ và điều này dường như cực kỳ khó bị dập tắt, mặc dù nó cũng không nhất thiết quá nguy hiểm khi thiếu các nguồn lực tính toán khổng lồ. Thật vậy, giới học thuật về mặt cấu trúc chống lại việc mở rộng quy mô theo kiểu "bài học cay đắng" (bitter-lesson) vì lý do rất đơn giản là giới học thuật có nhiều nhân lực và tương đối ít vốn. Việc để sinh viên cao học thực hiện các công việc thủ công dễ dàng hơn nhiều đối với họ so với việc chi hàng trăm triệu đô la cho GPU. Đối với các siêu máy tính khổng lồ thì ngược lại. Nhân lực đắt đỏ và quý giá; năng lực tính toán lại rẻ. Đối với họ, mở rộng quy mô gần như là hoạt động tự nhiên và tôi nghĩ đây là lý do tại sao "định luật mở rộng quy mô" (scaling laws) lại mang một hình thái meme mạnh mẽ đến vậy, mặc dù nếu bạn nhìn vào chúng một cách ngây thơ, chúng về cơ bản ngụ ý lợi nhuận cận biên giảm dần mạnh đối với quy mô. Chính vì điều này, trong khi giới học thuật tạo ra tiến bộ thuật toán đáng kể, phần lớn trong số đó không trực tiếp hữu ích cho các hệ thống tiên phong và thực tế thường cắt bỏ sự thanh lịch và đơn giản cần thiết để mở rộng quy mô. Giới học thuật cũng nổi tiếng với việc tự làm khó mình trong các lĩnh vực phụ điên rồ và vô nghĩa với khả năng ứng dụng tối thiểu. Giới học thuật, giống như hầu hết những người không có động lực thương mại rất mạnh mẽ, thường khá dị ứng với việc thu thập dữ liệu cơ bản, chất lượng dữ liệu và công việc cơ sở hạ tầng so với các đổi mới thuật toán "quyến rũ" hơn. Tuy nhiên, chúng ta có thể kỳ vọng giới học thuật vẫn tạo ra một dòng tiến bộ thuật toán và hiểu biết sâu sắc ổn định. Tương tự, ngay cả trong một thế giới tạm dừng, chúng ta kỳ vọng ngành công nghiệp sẽ đóng góp một số đổi mới về cơ sở hạ tầng và dữ liệu, và nếu việc tạm dừng của chúng ta chủ yếu chỉ là dừng RSI, thì điều này sẽ không nhất thiết làm chậm tiến bộ thuật toán một cách sâu sắc so với ngày nay (mặc dù có thể so với kịch bản phản thực tế RSI đầy đủ) mà thay vào đó sẽ chuyển hướng nó sang các lĩnh vực không phải RSI với chỉ một ít rò rỉ tiến bộ thuật toán chung chuyển trực tiếp sang RSI.

Do đó, bức tranh mà chúng ta thấy là hỗn hợp, trong đó chúng ta có thể coi tiến bộ thuật toán là một phần ngoại sinh nhưng phần lớn là nội sinh. Không thể ngăn chặn 100% tiến bộ thuật toán nếu không có các biện pháp cực đoan, nhưng dù vậy, có vẻ như nó có thể bị chậm lại đáng kể thông qua các thay đổi quy định trong AI, giống như cách tiến bộ khoa học trong các lĩnh vực nguy hiểm tiềm tàng khác như vũ khí sinh học và hạt nhân đã bị chậm lại bởi các quy định và hiệp ước vũ khí. Rộng hơn, AI hiện tại là một vòng phản hồi tích cực – tiến bộ thu hút vốn, doanh thu, tài năng – dẫn đến nhiều tiến bộ hơn. Nếu một đầu vào của vòng phản hồi bị dừng lại, phần còn lại của vòng lặp không chỉ tiếp tục lặp lại một cách ngoại sinh. Thay vào đó, việc làm giảm bất kỳ đầu vào nào cũng làm giảm các đầu vào khác. Vì lý do này, vấn đề dễ giải quyết hơn một số người giả định, nhưng dù vậy, việc đạt được bất kỳ hình thức tạm dừng hoặc chậm lại nào thông qua quy định không đòi hỏi phải đảo ngược nhiều động lực đã được xây dựng trong ngành cũng như lật đổ các lợi ích được trao (trong ngắn hạn!) của nhiều người có sự giàu có và quyền lực chính trị thông qua đầu tư hoặc công việc trong ngành AI hiện tại.

Nhìn chung, đây là một trường hợp kinh điển của sự bi quan hóa (pessimization) mà Richard Ngo đã thảo luận, và thực sự cho thấy sức mạnh và các động lực kinh tế có thể định hình lại cấu trúc lập luận ngay cả trong tâm trí của chính bạn như thế nào.

Phần lớn vấn đề này xuất phát từ việc áp dụng tư duy cận biên kinh tế cổ điển dành cho các chế độ cạnh tranh hoàn hảo vào các chế độ cực kỳ xa rời cạnh tranh hoàn hảo, nơi thực sự chỉ có một vài người chơi tập trung cực độ hỗ trợ toàn bộ hệ sinh thái. Chìa khóa của tư duy cận biên là nó cho phép bạn đơn giản hóa tình hình bằng cách giả định rằng hậu quả đối với người khác từ hành động của chính bạn là không đáng kể. Điều này có thể (đại khái) đúng nếu bạn là một người bán nhỏ một loại hàng hóa trong một thị trường có hàng triệu người bán cùng loại hàng hóa đó. Nó không đúng nếu bạn là một trong <10 công ty theo đuổi AI tiên phong trên toàn thế giới và định hình các dòng vốn chiếm tỷ trọng đáng kể của GDP thế giới.

Về quan điểm của Ryan Greenblatt, rõ ràng nhiều thứ chúng ta coi là "tiến bộ dữ liệu" cũng là thuật toán. Biết cách lọc dữ liệu từ common crawl tốt, cách thiết lập các vòng lặp tạo dữ liệu tổng hợp tốt và cách thiết kế các tiêu chí cho những người thực hiện nhiệm vụ con người, tất cả những điều này đều là các nhiệm vụ "thuật toán" theo một nghĩa nào đó. Nhưng đồng thời, tôi nghĩ vẫn có một sự khác biệt quan trọng ở đây.

Hiện nay có một xu hướng hấp dẫn là một số nhóm học thuật đưa ra một tiêu chuẩn thu hút sự chú ý trên AA hoặc nơi nào đó, sau đó tách ra thành một công ty dữ liệu để bán dữ liệu hoặc môi trường RL cho phép các phòng thí nghiệm leo đồi chính tiêu chuẩn này (!)

Trên thực tế, bất kỳ hình thức tạm dừng nào cũng sẽ kéo dài đáng kể tuổi thọ của các công ty dữ liệu, những công ty mà trong thế giới cất cánh RSI chỉ tồn tại trong khoảng thời gian ngắn trước khi vòng lặp RSI đóng lại. Một AGI đầy đủ có thể tự mình khám phá thế giới và thu thập dữ liệu cần thiết mà không cần sự trung gian của một công ty dữ liệu do con người điều hành. Thật thú vị, đây là một ví dụ khác về việc mọi người không thực sự "AGI-pilled" (nhận thức đầy đủ về AGI). Hầu như tất cả các công ty cung cấp đầu vào cho các phòng thí nghiệm AGI sẽ trở nên lỗi thời bởi một phòng thí nghiệm đang RSI. AGI có thể tự lấy dữ liệu, tự xây dựng năng lực tính toán, không cần các nhà nghiên cứu AI hay nhà đầu tư AI, v.v. Theo nghĩa đen, mọi người, có lẽ ngoại trừ một vài giám đốc điều hành trong phòng thí nghiệm AI đang RSI, đều có lợi ích mạnh mẽ trong việc tránh RSI mạnh. Đơn giản là vấn đề phối hợp mới là thách thức.

Đáng để suy nghĩ ở đây về sự so sánh với một số lĩnh vực công nghệ sinh học. Ví dụ, kỹ thuật di truyền ở người và việc tạo ra các loại virus vũ khí sinh học đều bị cấm nghiêm ngặt trong các hiệp ước quốc tế có hiệu lực thực thi (bao gồm cả Trung Quốc!). Tuy nhiên, một số học giả vẫn tiếp tục mày mò xung quanh các lĩnh vực này và tạo ra tiến bộ, điều này cuối cùng có thể lan rộng không kiểm soát được. Đồng thời, tình hình ở đây ổn định hơn nhiều so với việc chúng ta có nhiều công ty trị giá hàng nghìn tỷ đô la, mỗi công ty đều cạnh tranh để tạo ra những đứa trẻ siêu việt nhất hoặc những loại virus gây chết người nhất.

Trong thời đại trước AI, "mở rộng quy mô" (scaling) và "quy mô" (scale) đã là những thuật ngữ rất uy tín ở Thung lũng Silicon. YC đã dạy các khóa học về các công ty "blitz-scaling", và các kỹ sư Google nổi tiếng với việc khoe khoang về quy mô to lớn mà họ đang vận hành trên các luồng thảo luận của hackernews. Các định luật mở rộng quy mô AI đã được thiết kế hoàn hảo về mặt meme để phù hợp với bối cảnh này và hoạt động cực kỳ hiệu quả bằng cách làm như vậy.