ByteDance Seed ra mắt EdgeBench: Bộ tiêu chuẩn đánh giá khả năng học tập của AI trong thế giới thực

EdgeBench: Đo lường khả năng học tập trong môi trường thực tế và khám phá Scaling Law mới

Ngày tháng

07-07-2026

Phân loại

Kết quả nghiên cứu

Trong vài năm qua, Scaling Law (quy luật quy mô) trong tiền huấn luyện đã tạo nên một sự đồng thuận chung: năng lực của mô hình sẽ liên tục cải thiện theo cách có thể dự đoán được khi dữ liệu và sức mạnh tính toán tăng lên. Tuy nhiên, khi các mô hình ngôn ngữ lớn (LLM) thực sự bước vào thế giới thực, một vấn đề gần gũi với ứng dụng thực tế hơn đã xuất hiện: Liệu chúng có thể tiếp tục học hỏi và không ngừng mạnh lên trong quá trình tương tác liên tục với môi trường hay không?

Gần đây, chúng tôi đã công bố EdgeBench, bộ đánh giá siêu dài hạn dùng để đo lường khả năng học tập trong môi trường thực tế. Bộ đánh giá này bao gồm 134 tác vụ đa dạng và thực tế, trải dài trên sáu lĩnh vực năng lực, trong đó mỗi Agent có thể làm việc liên tục ít nhất 12 giờ trên mỗi tác vụ.

Dựa trên kết quả tương tác môi trường dài hạn của các tác vụ này, chúng tôi phát hiện ra rằng hiệu suất tổng thể của Agent trong quá trình "học tập từ môi trường" tuân theo một đường cong log-sigmoid có độ chính xác cao, với độ chính xác khớp trung bình R² đạt 0,998. Đồng thời, xét từ các thế hệ mô hình tiên tiến khác nhau, tốc độ học tập của Agent có xu hướng tăng gấp đôi sau mỗi ba tháng.

Hiện tại, EdgeBench đã mở mã nguồn 51 tác vụ cùng khung đánh giá hoàn chỉnh để cộng đồng tiếp tục nghiên cứu cách Agent học hỏi từ môi trường thế giới thực.

Liên kết dự án: https://seed.bytedance.com/edgebench Liên kết bài báo: https://edge-bench.org/paper.pdf Liên kết mã nguồn: https://github.com/ByteDance-Seed/EdgeBench Liên kết dữ liệu: https://huggingface.co/datasets/ByteDance-Seed/EdgeBench

Bộ đánh giá siêu dài hạn đo lường khả năng học tập trong môi trường thực tế

Hiệu suất của mô hình trong thế giới thực không chỉ phụ thuộc vào những gì nó học được trong quá trình huấn luyện. Nhiều kiến thức then chốt không tồn tại trực tiếp trong kho dữ liệu huấn luyện, và công việc thực tế không chỉ dựa vào thông tin có sẵn, mà còn bao gồm quá trình thử sai, giải mã phản hồi và liên tục điều chỉnh.

Đồng thời, môi trường thực tế luôn thay đổi, các công cụ mới, vấn đề mới và kiến thức mới liên tục xuất hiện, điều này có nghĩa là không dữ liệu huấn luyện tĩnh nào có thể bao quát hết mọi thứ từ trước. Do đó, khả năng học hỏi từ môi trường và liên tục cải thiện hiệu suất tác vụ của Agent đang trở nên ngày càng quan trọng.

Hầu hết các bộ đánh giá mô hình hiện nay chủ yếu đo lường kiến thức và năng lực sẵn có của mô hình. Trong khi đó, EdgeBench quan tâm nhiều hơn đến việc Agent học hỏi từ môi trường thực tế như thế nào khi có đủ thời gian, phản hồi và không gian để cải thiện.

EdgeBench có những đặc điểm sau trong thiết kế tác vụ:

Hướng tới học tập từ môi trường: Mỗi không gian làm việc, tín hiệu phản hồi và bộ đánh giá đều sát với thực tế, điểm số phản ánh quá trình học tập và cải thiện của Agent trong môi trường.

Thời gian siêu dài: Mỗi tác vụ hỗ trợ chạy liên tục trên 12 giờ, một số thí nghiệm mở rộng kéo dài hơn 72 giờ, cho phép kinh nghiệm được tích lũy liên tục. Xét các tác vụ đã ghi nhận sự tham gia của con người, thời gian trung bình để một chuyên gia hoàn thành một tác vụ là 57,2 giờ, cao nhất lên tới 320 giờ.

Bao phủ sáu lĩnh vực: 134 tác vụ bao gồm khoa học, kỹ thuật phần mềm phức tạp, công việc tri thức văn phòng, tối ưu hóa thuật toán, toán học tiên tiến và trò chơi kỹ thuật số. Các tác vụ này được các chuyên gia lĩnh vực liên tục lặp lại dựa trên các vấn đề thực tế, trong đó hơn 90% là các tác vụ được xây dựng mới hoàn toàn.

Phân loại tác vụ của EdgeBench

Khám phá Scaling Law trong học tập từ môi trường

Trong EdgeBench, Agent không chỉ nộp bài một lần là kết thúc, mà sẽ liên tục tương tác với môi trường tác vụ, đồng thời nhận phản hồi như điểm số, thông tin lỗi và các gợi ý cải thiện. Chính vì vậy, đường cong này không phản ánh khả năng hoàn thành tác vụ một lần của Agent, mà là khả năng hấp thụ phản hồi, điều chỉnh chiến lược và dần dần cải thiện kết quả trong quá trình tương tác liên tục.

Dựa trên khoảng 38.000 giờ ghi chép tương tác môi trường của Agent trong 134 tác vụ thực tế, chúng tôi nhận thấy hiệu suất của Agent không cố định mà có thể liên tục học hỏi và cải thiện trong quá trình tương tác với môi trường.

Nhìn sâu hơn, quỹ đạo tăng trưởng của Agent trong quá trình học tập từ môi trường không đơn nhất. Ngoài sự khác biệt về hiệu suất cuối cùng, chúng còn thể hiện những con đường rõ rệt trong quá trình học tập, hấp thụ phản hồi và cải thiện liên tục: một số cải thiện ổn định, một số tiến bộ nhanh ở giai đoạn đầu rồi đi vào giai đoạn bình ổn, và một số khác cần thời gian dài trì trệ mới đạt được đột phá.

Đường cong học tập của Agent trong 12 giờ trên 3 tác vụ, từ trái sang phải lần lượt là: cải thiện ổn định, tiến bộ nhanh giai đoạn đầu, và đột phá ở giai đoạn sau.

Lấy ví dụ về một lần chạy 12 giờ trong tác vụ sóng hấp dẫn, GPT-5.5 đã nâng điểm số từ 42,8 lên 67,0 sau 247 lần thử nghiệm đánh giá. Trường hợp này cho thấy học tập từ môi trường không phải là tinh chỉnh liên tục đơn giản: bước nhảy vọt về điểm số thường đến từ việc Agent định nghĩa lại, phân tách và tổ chức lại vấn đề dựa trên phản hồi.

Agent làm cho tác vụ có thể đo lường được trước, sau đó phân tách lỗi, xác định điểm nghẽn, cuối cùng giữ lại phần cốt lõi có thể sử dụng và chỉ sửa chữa các lỗi còn lại.

Nếu mở rộng góc nhìn từ một tác vụ đơn lẻ sang hiệu suất tổng thể giữa các tác vụ, ta sẽ thấy: sự học tập này không phải là biến động hỗn loạn, mà thể hiện một quy luật tổng thể ổn định cao.

Đối với mỗi mô hình, nghiên cứu bao phủ 134 tác vụ và thực hiện 3 lần chạy độc lập cho mỗi tác vụ, do đó mỗi mô hình sẽ tạo ra 402 đường cong học tập. Khi nhìn vào một quỹ đạo tác vụ đơn lẻ, hiệu suất của Agent trong môi trường thường đầy nhiễu và biến động. Nhưng khi các quỹ đạo này được tổng hợp và lấy trung bình theo thời gian tương tác, chúng hội tụ thành một đường cong log-sigmoid có hình thức đơn giản và độ chính xác cao.

Dạng hàm này không chỉ khớp ổn định với quỹ đạo học tập trung bình của các mô hình khác nhau mà còn có độ chính xác khớp cực cao, trung bình R² = 0,998. Đây không chỉ là hiện tượng khớp ở cấp độ kinh nghiệm mà còn có thể được giải thích từ góc độ lý thuyết khám phá đồ thị (graph exploration).

Nhìn vào kết quả trung bình của 134 tác vụ, khi thời gian tương tác với môi trường tăng lên, hiệu suất tổng thể của Agent sẽ liên tục cải thiện, các phân tích liên quan có thể tham khảo trong bài báo gốc.

Ngoài ra, chúng tôi cũng cố gắng trả lời câu hỏi: Liệu tốc độ học tập từ môi trường của mô hình có thay đổi theo sự tiến hóa của các thế hệ hay không?

Để giảm thiểu sự can thiệp từ khác biệt về kiến thức tiên nghiệm và năng lực cơ bản của mô hình, chúng tôi đã chọn 18 tác vụ có hiệu suất ban đầu tương đương và thực hiện đánh giá 2 giờ đối với các thế hệ mô hình được phát hành từ tháng 9 năm 2025 đến tháng 5 năm 2026, sau đó dùng biên độ cải thiện hiệu suất trong khoảng thời gian này để mô tả "tốc độ học tập". Kết quả cho thấy, cùng với sự tiến hóa của các thế hệ mô hình, tốc độ học tập từ môi trường của mô hình đang tăng tốc đáng kể. Đối với nhóm mô hình dẫn đầu tại thời điểm đó, tốc độ này đạt gần gấp đôi sau mỗi ba tháng.

Xu hướng thay đổi tốc độ học tập của các phiên bản LLM khác nhau.

Lời kết