Kỳ thi 'đại học' cho robot: Con người đạt 100 điểm, mô hình mạnh nhất chỉ dừng ở 12.8

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

08-07-2026 21:07:30 Nguồn: QbitAI

"Đỉnh Everest" của lĩnh vực đánh giá robot có thân thể (Embodied AI) đã xuất hiện: RoboDojo

Yun Zhong, đưa tin từ Aofeisi

QbitAI | Kênh thông tin chính thức QbitAI

Ngọn núi mang tên "robot đa năng" cao đến mức nào?

Trong năm qua, VLA, các mô hình nền tảng cho robot và mô hình thế giới đã lần lượt xuất hiện.

Từng bản demo trông ngày càng mượt mà: xếp bát, cắm ống, dọn dẹp, rót nước, sắp xếp bàn làm việc; robot dường như cuối cùng đã bắt đầu hiểu được ngôn ngữ con người, hiểu về thế giới và bắt tay vào làm việc.

Nhưng vấn đề là: Rốt cuộc mô hình nào mạnh hơn? Mạnh ở điểm nào? Liệu chúng có thể chuyển từ môi trường mô phỏng sang thế giới thực? Còn bao xa nữa mới đến được một robot thao tác đa năng thực thụ?

Giờ đây, một "bản đồ leo núi" mới đã xuất hiện.

Đội ngũ từng ra mắt bộ tiêu chuẩn RoboTwin nay lại mang đến RoboDojo: một bộ tiêu chuẩn đánh giá thao tác robot thống nhất cho cả môi trường mô phỏng và thế giới thực.

Website: https://robodojo-benchmark.com/ arXiv: https://arxiv.org/abs/2607.04434 Leaderboard: https://robodojo-benchmark.com/LeaderBoard Mã nguồn Benchmark: https://github.com/RoboDojo-Benchmark/RoboDojo Mã nguồn XPolicyLab: https://github.com/XPolicyLab/XPolicyLab Cộng đồng: https://robodojo-benchmark.com/community

Đây không chỉ là một bộ benchmark thông thường, mà giống như việc dựng lên một "đỉnh Everest" cho trí tuệ có thân thể:

42 nhiệm vụ mô phỏng, 18 nhiệm vụ robot thực tế, 30 chiến lược robot phổ biến cùng tranh tài, bao quát 5 năng lực chính: khả năng tổng quát hóa, ghi nhớ, thao tác tinh vi, thực thi dài hạn và hiểu ngữ nghĩa mở.

Kết quả rất trực diện và cũng rất tàn khốc:

Chiến lược robot đa năng mạnh nhất hiện nay chỉ đạt tỷ lệ thành công trung bình 8,80% trong môi trường mô phỏng. Khi bước ra thế giới thực, tỷ lệ thành công trung bình của mô hình tốt nhất cũng chỉ đạt 12,8%.

Còn chuyên gia con người thì sao? Trong mô phỏng là 76,03% và trong thế giới thực là 100%.

Các mô hình nền tảng robot dường như đã bắt đầu leo lên đỉnh Everest của trí tuệ có thân thể, nhưng bảng xếp hạng của RoboDojo cho thấy: phần lớn chúng vẫn đang ở chân núi và chật vật với chứng "sốc độ cao".

Trước tiên hãy nhìn vào thiết kế nhiệm vụ: Tại sao ngọn núi này lại khó đến vậy?

Độ khó của RoboDojo không nằm ở việc chồng chất số lượng nhiệm vụ đơn giản, mà ở chỗ nó chia nhỏ năng lực thao tác của robot thành một nhóm các "cửa ải leo núi" gần với thế giới thực hơn.

Trong môi trường mô phỏng, RoboDojo thiết kế 42 nhiệm vụ xoay quanh năm năng lực cốt lõi:

Những nhiệm vụ này không phải là các biến thể đơn giản của việc "gắp và đặt" (pick-and-place).

Ví dụ, trong nhiệm vụ tổng quát hóa, các vật dụng trên bàn có thể được ngẫu nhiên hóa lên tới 25 món, đồng thời bối cảnh, ánh sáng, ngoại hình và cách bố trí vật thể đều sẽ thay đổi;

Trong nhiệm vụ ghi nhớ, robot cần ghi nhớ các vật thể đã xuất hiện rồi biến mất trên băng chuyền, sau đó chọn ra mục tiêu khớp với yêu cầu từ các ứng viên tiếp theo;

Trong nhiệm vụ thao tác tinh vi, robot phải hoàn thành các hành động đòi hỏi độ chính xác cao như cắm ống, căn chỉnh, chèn vào; chỉ cần lệch một chút là thất bại.

Các nhiệm vụ dài hạn lại gần với việc nhà thực tế hơn: robot không chỉ thực hiện một hành động mà phải hoàn thành liên tiếp nhiều bước nhỏ. Cầm lên, di chuyển, chuyển giao, căn chỉnh, đặt xuống; mỗi bước đều có thể dẫn đến sai số, và sai số đó sẽ tích lũy dần cho đến cuối cùng.

Nhưng RoboDojo không dừng lại ở môi trường mô phỏng.

Điều thực sự khiến "đỉnh Everest của trí tuệ có thân thể" này trở nên cao hơn chính là việc nó đưa quá trình đánh giá lên robot thực tế.

RoboDojo thiết kế 18 nhiệm vụ trong thế giới thực, bao quát ba nền tảng robot hai tay là ARX X5, Piper và Piper X, mỗi nền tảng thực hiện 6 nhiệm vụ.

Những nhiệm vụ này không phải là bản sao của các nhiệm vụ mô phỏng, mà được thiết kế chuyên biệt để kiểm tra khả năng triển khai của robot trong thế giới vật lý thực.

Ví dụ, trên ARX X5 có các nhiệm vụ như đậy nắp khối hình, làm bánh mì, chế biến thực phẩm, bỏ trái cây vào hộp rồi đổ ra, sắp xếp két sắt, cắm ống; trên Piper có các nhiệm vụ như xếp chồng và đậy nắp khối hình, cắm bút vào ống, bỏ vật thể vào giỏ, cắm sạc, xếp bát, dựng thẳng chai; trên Piper X bao gồm phân loại vật thể, tháo Lego, treo cốc, bỏ đồ vào ba lô, dọn dẹp khối hình, đậy nắp bút, v.v.

Những nhiệm vụ này nghe có vẻ rất đời thường, nhưng đối với robot thì không hề đơn giản.

Bởi vì trong thế giới thực, mỗi bước đều mang theo sự bất định về vật lý: vật thể có thể trượt, kẹp có thể không giữ chắc, cánh tay máy có thể có độ trễ nhỏ, camera có thể có nhiễu, và khoảnh khắc tiếp xúc có thể đẩy mục tiêu lệch khỏi vị trí.

Quan trọng hơn, RoboDojo-RealEval đã chuẩn hóa việc đánh giá trên máy thật: thống nhất cấu hình phần cứng, bố trí không gian làm việc, điều kiện ánh sáng, quy trình thiết lập lại hiện trường, giao thức đánh giá và giao diện triển khai.

Trước mỗi lần kiểm tra, nhân viên đánh giá sẽ tái hiện hiện trường theo bố cục định sẵn; mỗi lượt thử nghiệm (trial) sẽ được ba giám khảo chấm điểm mù đôi, đánh giá cả kết quả cuối cùng lẫn quá trình thực hiện các bước trung gian.

Nói cách khác, phần đánh giá trên máy thật của RoboDojo không phải là "quay vài video demo", mà là biến việc thao tác robot thực tế thành một kỳ thi tiêu chuẩn hóa có thể tái lập, có thể so sánh và có thể truy cập từ xa.