AI Agent vẫn chưa thể thực hiện nghiên cứu khoa học độc lập

Mục tiêu của các phòng thí nghiệm AI hàng đầu là khả năng tự cải tiến đệ quy (recursive self-improvement - RSI): tự động hóa nghiên cứu AI bằng cách sử dụng các AI agent. RSI cũng là nền tảng cho các dự báo về sự tiến bộ bùng nổ của AI. Làm thế nào chúng ta có thể đánh giá liệu mình đã tiến gần đến cột mốc này hay chưa?

Một cách là sử dụng các bộ tiêu chuẩn (benchmarks) để kiểm tra xem các agent có thể thực hiện nghiên cứu AI hay không. Do cộng đồng AI tập trung vào các bộ tiêu chuẩn, đây đã trở thành phương pháp chủ đạo để đánh giá tiến trình hướng tới RSI. Trong năm qua, nhiều đánh giá như vậy cho thấy các agent hiện đã có thể đạt được tiến bộ trong các nhiệm vụ mà sự thành công có thể dễ dàng kiểm chứng, làm dấy lên suy đoán rằng chúng ta đang đứng trước ngưỡng cửa của RSI.

Tuy nhiên, mặc dù các đánh giá này hữu ích, chúng chỉ giới hạn trong các nhiệm vụ hẹp và có thể kiểm chứng. Nghiên cứu AI có thể mang tính mở hơn nhiều. Sự thành công thường không rõ ràng hoặc không thể kiểm chứng ngay lập tức, và để đạt được tiến bộ, các nhà nghiên cứu cần thử nghiệm các giả thuyết đầy hứa hẹn, quay lại các bước trước đó hoặc xem xét các phương pháp mới hoặc phi truyền thống. Làm thế nào chúng ta có thể đánh giá khả năng thực hiện nghiên cứu AI mang tính mở của các agent? Chúng tôi thực hiện bước đầu tiên để trả lời câu hỏi này trong một bài báo mới.

Chúng tôi đã hợp tác với các tác giả của hai bài báo AI chưa được công bố và yêu cầu họ soạn thảo các câu hỏi nghiên cứu chính. Sau đó, chúng tôi giao nhiệm vụ cho các frontier AI agents thực hiện nghiên cứu để trả lời những câu hỏi này, đồng thời cung cấp cho chúng hàng ngàn đô la tín dụng API, tài nguyên tính toán và sáu ngày thời gian thực. Các tác giả gốc đã xem xét các bài báo của các agent.

Các tác giả đã bác bỏ hoàn toàn cả hai bài báo của các agent. Để hiểu rõ hơn về kết quả này, nhóm của chúng tôi đã dành hơn một trăm giờ để phân tích nhật ký hoạt động của các agent. Những điểm rút ra chính của chúng tôi:

Các agent thiếu khả năng phán đoán để thực hiện nghiên cứu mang tính mở. Mặc dù các agent đã đề xuất những hướng đi mà các chuyên gia đánh giá cảm thấy ấn tượng, chúng lại nhanh chóng từ bỏ các hướng đi đó dựa trên dữ liệu chất lượng thấp hoặc dữ liệu tổng hợp.

Các agent thiếu nhận thức về các nguồn lực sẵn có. Cả hai lần chạy đều kết thúc với chưa đầy 50% ngân sách API được sử dụng và còn dư nhiều giờ trước thời hạn, mặc dù các agent có thể theo dõi mức sử dụng và được khuyến khích sử dụng hết ngân sách của mình.

Các agent không phản hồi phản hồi một cách sáng tạo. Mặc dù chính các công cụ tự đánh giá của AI đã làm nổi bật nhiều vấn đề mà các chuyên gia đánh giá sau đó đã nêu ra, các agent lại không giải quyết những lo ngại này một cách sáng tạo. Khi đối mặt với phản hồi tiêu cực, chúng phản ứng bằng cách thêm các lưu ý vào những phát hiện hiện có và tiếp tục đi sâu vào các hướng nghiên cứu không hứa hẹn.

Các agent không thực hiện việc quay lại các bước trước đó (backtrack) một cách hiệu quả. Chúng đã từ bỏ các mục tiêu nghiên cứu tham vọng nhất của mình ngay trong ngày đầu tiên của thí nghiệm, và sau thời điểm đó, không agent nào thay đổi cơ bản phương pháp của mình.

Các agent không tuân thủ các hướng dẫn cụ thể. Chúng phớt lờ các quy tắc rõ ràng về thời gian dành cho việc khám phá, tần suất nhận đánh giá từ các công cụ tự đánh giá của AI và các giới hạn nghiêm ngặt về độ dài bài báo.

Chúng tôi đã muốn đánh giá khả năng thực hiện nghiên cứu mang tính mở của AI trong hai năm qua, kể từ khi chúng tôi phát hành một bộ tiêu chuẩn để nghiên cứu xem liệu các agent có thể được sử dụng để cải thiện khả năng tái lập hay không. Nhưng chúng tôi muốn thực hiện phương pháp của mình một cách chính xác. Ý tưởng đằng sau phương pháp của chúng tôi được đề xuất bởi một số đồng tác giả từ UK AISI và được tinh chỉnh bởi nhóm nòng cốt của chúng tôi tại Princeton.

Chúng tôi gọi đây là các "đánh giá bóng" (shadow evaluations) vì agent mô phỏng lại nghiên cứu gốc. Ngoài hai chúng tôi, nhóm nòng cốt còn bao gồm Peter Kirgis, Andrew Schwartz và Stephan Rabanser. Danh sách tác giả đầy đủ nằm ở cuối bài luận này.

Các đánh giá bóng có những ưu điểm quan trọng: chúng cho phép chúng tôi kiểm tra các agent trên những kết quả mà chúng chưa từng được đào tạo và không thể truy cập trực tuyến. Chúng cũng cho phép các chuyên gia – những người đã dành nhiều tháng để trả lời các câu hỏi – đánh giá kết quả đầu ra của các agent.

Tuy nhiên, các đánh giá bóng cũng có những hạn chế cố hữu. Các chuyên gia đánh giá biết rằng bài báo do AI tạo ra, và họ có thể ưu tiên phương pháp họ đã thực hiện hơn phương pháp mà agent đã chọn. Vì chúng tôi đang thực hiện các đánh giá chuyên sâu cho từng bài báo, quy mô mẫu rất nhỏ (trong nghiên cứu của chúng tôi, chúng tôi chỉ sử dụng hai bài báo). Và các đánh giá này nhất thiết phải bao gồm sự linh hoạt của nhà nghiên cứu trong thiết kế, thực hiện và diễn giải.

Trên thực tế, chúng tôi được biết đến với một quan điểm cụ thể trong cuộc tranh luận về khả năng tự cải tiến đệ quy và siêu trí tuệ. Điều này có thể ảnh hưởng đến cách chúng tôi thực hiện nghiên cứu. Chúng tôi có một phần chi tiết trong bài báo về những định kiến tiềm ẩn của mình và cách chúng tôi giải quyết chúng. Chúng tôi đã tìm kiếm một nhóm cộng tác viên không hoàn toàn chia sẻ các giả định ban đầu của chúng tôi, và chúng tôi công khai những bất đồng nảy sinh. Đối với các đánh giá trong tương lai, chúng tôi quan tâm đến việc có các "cộng tác viên đối kháng" (adversarial collaborators) như một phần của nhóm nòng cốt.

Ý nghĩa đối với sự tiến bộ bùng nổ của AI

Kết quả của chúng tôi cho thấy việc thực hiện nghiên cứu mang tính mở vẫn là một thách thức đối với các frontier AI agents. Tuy nhiên, những phát hiện này vẫn mang tính tạm thời và chúng tôi đang nỗ lực giải quyết các hạn chế, chẳng hạn như bằng cách tăng quy mô mẫu, thử nghiệm với các mô hình mới và thông qua các cải tiến về khung hỗ trợ (scaffold). Nhưng nếu những phát hiện này đúng, thì ý nghĩa của chúng là gì?

Thứ nhất, chúng ta cần hiểu mức độ mà sự tiến bộ của frontier AI (và RSI) có thể đạt được chỉ bằng cách leo đồi (hill climbing) trên các nhiệm vụ có thể kiểm chứng. Quan điểm của chúng tôi là mặc dù sự tiến bộ nhanh hơn chắc chắn có thể xảy ra trên các nhiệm vụ hẹp (như cải thiện hiệu suất), chúng tôi không nghĩ rằng nó sẽ dẫn đến RSI trên diện rộng hoặc sự tiến bộ bùng nổ. Tuy nhiên, chúng tôi dự định theo dõi sát sao sự tiến bộ của AI khi nó diễn ra dựa trên khả năng của các AI agent trong các nhiệm vụ có thể kiểm chứng.

Thứ hai, chúng ta cần đo lường mức độ nhanh chóng mà các hạn chế hiện tại của các agent trong việc thực hiện nghiên cứu mang tính mở (như thiếu sự sáng tạo và khả năng phán đoán) có thể được khắc phục, chẳng hạn như thông qua đào tạo có mục tiêu hơn và các cải tiến về khung hỗ trợ. Chúng tôi dự định tiếp tục thực hiện các đánh giá bóng thường xuyên để giúp trả lời câu hỏi này.

Cuối cùng, ngay cả khi những hạn chế này có thể được khắc phục, vẫn có thể có những nút thắt cổ chai khác làm chậm tốc độ tiến bộ của AI.

Các nút thắt cổ chai có thể bao gồm giới hạn về tài nguyên tính toán, sự cần thiết phải thu thập dữ liệu từ các thí nghiệm trong thế giới thực và những yếu tố khác mà chúng ta chưa nhận ra vì chúng hiện chưa chặn đứng sự tiến bộ. Ví dụ, tầm quan trọng của các môi trường RL chất lượng cao không rõ ràng trước khi chúng trở nên hữu ích cho việc mở rộng quy mô suy luận (inference scaling). Tương tự, tầm quan trọng của việc xây dựng cơ sở hạ tầng năng lượng cho các trung tâm dữ liệu đã không được nhận ra trước khi các công ty bắt đầu đầu tư hàng trăm tỷ đô la vào các trung tâm dữ liệu để đào tạo và suy luận.

Việc chúng ta có gặp phải những nút thắt cổ chai nào khác hay không, và chúng trở nên dễ giải quyết đến mức nào, sẽ có ảnh hưởng quan trọng đến việc hiểu tốc độ tiến bộ. Theo hướng này, bài báo của chúng tôi xác định một nút thắt cổ chai chưa được giải quyết, đó là hiệu suất kém của các frontier agents trong nghiên cứu AI mang tính mở (mặc dù vẫn còn phải xem liệu nó có nằm trên lộ trình quan trọng dẫn đến RSI hay không).

Nếu chúng ta đang ở trong một thế giới mà các nút thắt cổ chai đối với nghiên cứu tự động hoàn toàn có thể dễ dàng giải quyết, chúng ta nên kỳ vọng vào những lợi ích to lớn đối với sự tiến bộ của AI từ việc cải thiện khả năng của AI. Nhưng nếu chúng ta đang ở trong một thế giới với nhiều nút thắt cổ chai còn tồn tại và khó vượt qua, định luật Amdahl sẽ phát huy tác dụng: ngay cả khi tăng tốc gấp trăm lần ở những phần có thể áp dụng AI cũng chỉ dẫn đến một sự tăng tốc nhỏ trong tốc độ tiến bộ tổng thể, vì sự tiến bộ bị kìm hãm bởi tốc độ của thành phần chậm nhất.

Việc tìm ra chúng ta đang sống trong thế giới nào có thể ảnh hưởng đáng kể đến các ước tính về tốc độ tiến bộ của AI. Chúng tôi hy vọng kết quả của mình góp phần vào sự hiểu biết phong phú hơn về những nút thắt cổ chai này.

Đọc bài báo tại đây. Các tác giả bao gồm Peter Kirgis, Sayash Kapoor, Andrew Schwartz, Stephan Rabanser, David Africa, Konstantinos Voudouris, Viet Nguyen, Toby Pilditch, Magda Dubois, Harry Coppock, Cozmin Ududec, Nitya Nadgir, Matilda Orona, Tilman Bayer, Derrick Chan-Sew, Yue Ling, Abhishek Shetty, Helen Toner, Gillian Hadfield, Seth Lazar, Steve Newman, Shoshannah Tekofsky, Rishi Bommasani và Arvind Narayanan.

Điều này trái ngược với việc gửi bài báo để bình duyệt mù (blind peer review). Thật không may, bình duyệt trong AI đang chịu ảnh hưởng bởi chất lượng đánh giá kém và sự không khớp giữa chuyên môn của người đánh giá và các bài báo được giao, có lẽ là do sự gia tăng đột biến về số lượng bài nộp.

Ví dụ, các đồng tác giả của chúng tôi không đồng ý về việc liệu các agent có thiếu sự sáng tạo hay không, hay liệu chúng bị mắc kẹt trong sự bế tắc về nhận thức (epistemic lock-in) và không thể kết hợp phản hồi một cách hiệu quả.

Trong thực tế, có thể thấy rằng một số loại tiến bộ AI có nút thắt cổ chai trong khi những loại khác thì không. Ví dụ, việc cải thiện hiệu suất và tốc độ của các hệ thống AI hiện có là một nhiệm vụ có thể kiểm chứng, nơi mà sự tiến bộ đã diễn ra nhanh chóng. Kết quả là, các công ty đã sử dụng các agent một cách hiệu quả để cải thiện hiệu suất của các hệ thống AI. Trong ngắn hạn, chúng tôi kỳ vọng sự tiến bộ nhanh chóng của AI ở những khía cạnh có các tín hiệu có thể kiểm chứng.