MirroS ra mắt Code-as-World: Chuyển đổi video thực tế thành mô phỏng vật lý MuJoCo

MirroS đã phát hành Code-as-World: một mô hình đại diện cho các thế giới vật lý thông qua các biểu diễn thế giới có thể thực thi. Lập luận này khá hẹp và có thể kiểm chứng: pixel chỉ là bằng chứng của một cảnh vật lý chứ không phải bản chất tồn tại (ontology) của nó. Một mô hình video có thể dự đoán các khung hình trông có vẻ hợp lý mà không cần biểu diễn khối lượng, sự va chạm hay trọng lực. Vì vậy, thay vì sử dụng pixel, các biến ẩn (latents) hay chú thích (captions), Code-as-World biểu diễn một cảnh dưới dạng mã có thể thực thi — một tệp scene.json mà MuJoCo có thể chạy, mà một tác nhân (agent) có thể xác minh dựa trên video gốc, và bất kỳ ai cũng có thể chỉnh sửa và mô phỏng lại. Một vòng lặp tác nhân sẽ khôi phục các chương trình đó từ cảnh quay thực tế trong tối đa năm vòng. Các thế giới đã được xác minh sau đó trở thành dữ liệu huấn luyện với các nhãn vật lý chính xác, điều mà video thực tế không có. Được huấn luyện dựa trên sự giám sát đó, Code-as-World-VL-9B đạt 55.4 điểm MRA trên QuantiPhy-validation, vượt qua Gemini-3.1 Flash với 54.8 điểm và cao hơn khoảng 15 điểm so với mô hình mã nguồn mở mạnh nhất hiện nay.

Liệu nó có thể triển khai được không?

Có, ở cấp độ nghiên cứu và nguyên mẫu nội bộ. MirroS đã phát hành kho lưu trữ GitHub và hai điểm kiểm tra (checkpoints) — Code-as-World-VL-4B và Code-as-World-VL-9B — theo giấy phép Apache 2.0, được tinh chỉnh từ Qwen3.5-4B và Qwen3.5-9B. Cả hai đều là các tệp BF16 safetensors được phục vụ bởi vLLM thông qua endpoint /v1 tương thích với OpenAI, với 16 khung hình được lấy mẫu trên mỗi video và tham số --max-model-len 4608.

Ý tưởng: pixel là bằng chứng, không phải bản chất tồn tại

Báo cáo kỹ thuật của MirroS lập luận rằng các mô hình video, tái tạo 3D và chú thích đều chỉ khôi phục được một phần của cảnh nhưng không mô hình nào khôi phục được cơ chế vận hành của nó. Code-as-World biểu diễn một cảnh dưới dạng biểu diễn thế giới có thể thực thi (EWR), một bộ ba p = (C, E, A):

Trong bản triển khai được phát hành, bộ ba đó được biên dịch thành tệp scene.json thực thi trong MuJoCo, với hai công cụ có thể thay thế cho nhau: công cụ hoạt họa (các tư thế động học) và công cụ vật lý (lực và va chạm).

Khám phá bằng tác nhân thay vì dự đoán một lần (one-shot)

Việc khôi phục EWR từ video là một bài toán ngược, vì vậy nhóm nghiên cứu đã định hình nó như một quá trình tìm kiếm suy diễn (abductive search). Một tác nhân sẽ thực hiện quy trình đề xuất → khởi tạo → thực thi → kết xuất → xác minh trong tối đa K = 5 vòng. Đối với đầu vào video, SAM 3 cung cấp các mặt nạ thực thể (instance masks) và các quỹ đạo trên mặt phẳng hình ảnh, VGGT-Omega ước tính độ sâu và hình học camera, còn SAM 3D tạo ra các lưới (meshes) cho từng đối tượng. Các kết quả mô phỏng ứng viên được chiếu ngược lại vào khung hình đầu vào và so sánh tại các khung hình chính đã chọn dựa trên RGB, độ sâu, mặt nạ và quỹ đạo. Những sai lệch ở cấp độ khung hình sẽ tổng hợp thành phản hồi có cấu trúc Δ để hướng dẫn cho lần sửa đổi tiếp theo; khi hết ngân sách mà vẫn chưa được chấp nhận, giả thuyết đó sẽ bị loại bỏ.

Với cùng ngân sách năm lần đánh giá, vòng lặp này vượt trội hơn so với phương pháp lấy mẫu độc lập Best-of-5 về các chỉ số Visual Alignment, Object IoU, Traj-ADE và Accuracy@2%D — và kết quả này lặp lại khi sử dụng công cụ thực thi thứ hai. Các video ứng viên được lấy từ WISA-80K sau khi đã lọc dựa trên chuyển động; việc kết xuất lại từ mô phỏng sang thực tế (sim-to-real) sử dụng Wan2.2-VACE kết hợp với một mô hình video nội bộ.

Thế giới đã xác minh làm dữ liệu giám sát huấn luyện

Giai đoạn 1 là tinh chỉnh có giám sát trên 73.335 cặp QA trong không gian hình ảnh được xây dựng từ RefCOCO/+/g, RefCLEF và GOT-10K, bao gồm phạm vi, vị trí, độ dịch chuyển, vận tốc và gia tốc trong các pixel thô. Giai đoạn 2 áp dụng GRPO cho VQA trong không gian thế giới được rút ra từ 1.585 thế giới có thể thực thi dựa trên văn bản và 988 thế giới dựa trên video, được thưởng dựa trên độ chính xác số học đã chuẩn hóa theo thang đo cùng với các đơn vị và định dạng. Quá trình huấn luyện sử dụng tám GPU NVIDIA H100.

Trên QuantiPhy-validation (159 mục, MRA trung bình cộng trên 2S/2D/3S/3D): 4B = 50.6, 9B = 55.4, 27B reasoning = 58.6, so với Gemini-3.1 Flash là 54.8, ChatGPT-5.1 là 48.4 và mô hình mã nguồn mở mạnh nhất Qwen3-VL-32B-Instruct là 40.2. Phân tích loại bỏ (ablation) cho thấy con số hữu ích hơn: chỉ sử dụng không gian hình ảnh đạt 44.2 (4B) và 50.9 (9B); việc thêm cả hai nguồn không gian thế giới giúp nâng kết quả lên 50.6 và 55.4. Khả năng grounding ở cấp độ pixel cũng cải thiện — mô hình 9B tăng từ 63.7 lên 68.3 trên RefCOCO và từ 20.1 lên 26.6 trên GOT-10K sau khi áp dụng RL trong không gian thế giới.

Những điểm chính cần lưu ý

Hãy xem Báo cáo kỹ thuật, blog của MirroS, trang Dự án, GitHub và Thông báo trên X. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML với hơn 150 nghìn thành viên của chúng tôi cũng như Đăng ký nhận Bản tin. Khoan đã! bạn có dùng Telegram không? giờ đây bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá Kho lưu trữ GitHub, Trang Hugging Face, Phát hành sản phẩm hoặc Hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có thể hành động được.