Ant Group ra mắt LingBot-VA 2.0: Mô hình AI vật lý điều khiển hành động qua video

Robbyant, đơn vị AI hiện thân (embodied AI) thuộc Ant Group, vừa ra mắt LingBot-VA 2.0, mô hình nền tảng thuần hiện thân (embodied-native foundation model) đầu tiên. Đây là mô hình nền tảng video-hành động dành cho các robot thao tác đa năng. Thay vì tinh chỉnh (fine-tuning) một trình tạo video, nhóm nghiên cứu đã huấn luyện trước (pretrain) toàn bộ cấu trúc cho mục đích hiện thân.

LingBot-VA 2.0 là gì?

Hầu hết các mô hình video-hành động hiện nay đều tái sử dụng hai thành phần được xây dựng cho việc sáng tạo nội dung kỹ thuật số. Một là VAE hướng tới tái tạo hình ảnh, hai là xương sống (backbone) khuếch tán video hai chiều, có gắn thêm một mô-đun hành động.

Cách tiếp cận này tạo ra ba hạn chế. Các biến tiềm ẩn (latents) từ quá trình tái tạo pixel bảo toàn được vẻ ngoài nhưng lại thiếu cấu trúc vật lý. Việc khử nhiễu lặp đi lặp lại trên các token video quá chậm đối với điều khiển vòng lặp kín. Các mục tiêu video chung chung không dạy cho mô hình cách các hành động định hình lại thế giới.

Một sự không tương thích thứ tư nằm ở cấu trúc. Các xương sống sử dụng cơ chế chú ý hai chiều (bidirectional attention), trong khi quá trình điều khiển diễn ra nghiêm ngặt theo trình tự thời gian. LingBot VA phiên bản 1.0 đã tinh chỉnh cấu trúc đó thành một mô hình nhân quả (causal model). Phiên bản 2.0 huấn luyện trước một DiT nhân quả ngay từ đầu.

Phiên bản 1: Trình mã hóa hành động-hình ảnh ngữ nghĩa (Semantic Visual-Action Tokenizer)

Dựa trên động lực đó, giai đoạn một thay thế VAE chỉ tập trung vào nén dữ liệu. Theo RepWAM, trình mã hóa (tokenizer) bổ sung hai mục tiêu vào quá trình tái tạo.

Sự căn chỉnh ngữ nghĩa (Semantic alignment) kéo các biến tiềm ẩn hình ảnh về phía một giáo viên Perception Encoder đã đóng băng. Một mục tiêu hành động tiềm ẩn trích xuất các biến chuyển đổi nhỏ gọn giữa các biến tiềm ẩn liên tiếp. Một mô hình động lực học nghịch đảo dự đoán từng hành động tiềm ẩn. Một mô hình động lực học thuận giải mã nó thành bản đồ vận chuyển cộng với phần dư.

Trạng thái thế giới và hành động giờ đây chia sẻ chung một không gian tiềm ẩn. Do đó, các video web không dán nhãn mang lại sự giám sát liên quan đến hành động.

Phiên bản 2: DiT nhân quả với luồng video MoE thưa (Sparse MoE)

Trên không gian đó, phiên bản 2 huấn luyện trước một DiT nhân quả. Nó giữ nguyên bố cục Mixture-of-Transformers của phiên bản 1.0. Một chuyên gia video và một chuyên gia hành động chia sẻ chung một cơ chế tự chú ý nhân quả (causal self-attention). Mỗi bên sở hữu một đường dẫn truyền thẳng (feed-forward) riêng biệt.

Hai luồng này mở rộng không đối xứng. Chuyên gia video thay thế FFN dày đặc của nó bằng một lớp MoE thưa được định tuyến. Lớp này chứa 128 chuyên gia SwiGLU được định tuyến, với cơ chế top-8 và một chuyên gia dùng chung. Việc cân bằng tải tuân theo chiến lược Loss-Free Balancing không cần hàm mất mát phụ trợ. Chuyên gia hành động vẫn giữ FFN dày đặc ở chiều ẩn 768.

Xương sống video có khoảng 13,0 tỷ tham số, với khoảng 1,9 tỷ tham số hoạt động. Với chuyên gia hành động và các đầu MCP, quá trình huấn luyện bao phủ khoảng 15,3 tỷ tham số. Khoảng 2,5 tỷ tham số được kích hoạt cho mỗi token khi suy luận. Quá trình huấn luyện sử dụng mục tiêu dòng chảy chỉnh lưu (rectified-flow) với bộ tối ưu hóa lai Muon cộng với AdamW.

Nguồn tín hiệu huấn luyện đến từ đâu

Ngoài kiến trúc, hai mục tiêu định hình những gì mô hình học được.

Dự đoán đa đoạn (Multi-chunk prediction - MCP) khắc phục sự giám sát thiển cận. Việc ép buộc giáo viên (teacher forcing) chỉ giám sát đoạn tiếp theo, khiến mô hình có thể giảm mất mát bằng cách sao chép vẻ ngoài. MCP gắn ba mô-đun nhẹ dự đoán ba đoạn tiếp theo. Trong thử nghiệm cắt bỏ (ablation), nó đạt được độ chính xác 45k bước của mô hình cơ sở chỉ trong 20k bước, tăng tốc độ huấn luyện gấp 2,3 lần.

Trong khi đó, năm mục tiêu được đồng huấn luyện thay vì theo giai đoạn: T2I, T2V, TI2VA, ICL và đồng huấn luyện người-robot. Lấy mẫu tuân theo lịch trình từ thô đến tinh, từ căn chỉnh vẻ ngoài đến điều khiển video-hành động. Việc duy trì mọi mục tiêu giúp tránh quên đi các ưu tiên trước đó.

Lập kế hoạch phân cấp

Điều khiển ở cấp độ đoạn không thể sắp xếp các mục tiêu dài hạn. Do đó, phía trên chính sách là một trình lập kế hoạch VLM, được tinh chỉnh LoRA với một tháp thị giác đã đóng băng. Nó xuất ra JSON có cấu trúc: hoàn thành, hướng dẫn, hướng dẫn tạo, mô tả cảnh cục bộ. Nó chạy ở tốc độ khoảng 2 Hz phía sau một bộ đệm chia sẻ không đồng bộ. Chính sách đọc nó tại mỗi ranh giới đoạn, vì vậy độ trễ của trình lập kế hoạch không bao giờ chặn quá trình thực thi.

Suy luận dự báo (Foresight Reasoning)

Ngay cả với xương sống thưa, việc triển khai vẫn gặp nút thắt tuần tự. Nếu robot chờ đợi, độ trễ của mô hình sẽ trở thành độ trễ điều khiển.

Do đó, Suy luận dự báo chạy dự đoán và thực thi như các luồng không đồng bộ. Trong khi robot thực thi đoạn a_t, chuyên gia video tưởng tượng kết quả của nó. Chuyên gia hành động giải mã a_{t+1} từ đó.

Chạy trước có nguy cơ bị lệch. Vì vậy, mỗi quan sát trả về được mã hóa thành biến tiềm ẩn thực z_{t+1}, ghi đè lên biến tưởng tượng. Một hàm mất mát căn chỉnh động lực học thuận huấn luyện chuyên gia video cho vai trò này.

Hiệu suất

Kết quả là, đánh giá bao gồm cả mô phỏng và phần cứng thực tế. Trên RoboTwin 2.0, mỗi mô hình được huấn luyện trên 2.500 bản trình diễn sạch cộng với 25.000 bản trình diễn ngẫu nhiên, trên 50 tác vụ.

Chưng cất (Distillation) cắt giảm trình lấy mẫu video từ 5 bước xuống 2, và trình lấy mẫu hành động từ 10 xuống 2. Các công cụ FP8 TensorRT, bộ nhớ đệm KV phân trang/rời rạc với cơ chế chú ý FlashInfer, và việc loại bỏ chi phí phía máy chủ cung cấp phần còn lại.

Phiên bản 1.0 so với Phiên bản 2.0

Thử nghiệm cắt bỏ trình mã hóa cô lập hàng đầu tiên. Việc hoán đổi VAE của WAN2.2 cho trình mã hóa ngữ nghĩa giúp nâng mô hình 1,3 tỷ tham số từ 78,0 lên 86,6.

Các trường hợp sử dụng và ví dụ

Ngoài các điểm chuẩn, bốn hình thức triển khai nổi bật.

Những điểm chính cần lưu ý

Công cụ giải thích động tương tác

Hãy xem Bài báo và Trang dự án. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ của chúng tôi và Đăng ký Bản tin của chúng tôi. Khoan đã! bạn có dùng Telegram không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo HOẶC Trang Hugging Face HOẶC Phát hành sản phẩm HOẶC Hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Lưu ý: Cảm ơn nhóm Nghiên cứu Ant vì tư duy lãnh đạo/Tài nguyên cho bài viết này. Nhóm Nghiên cứu Ant đã hỗ trợ nội dung/bài viết này để quảng bá.