Robbyant ra mắt LingBot-VLA 2.0: Mô hình ngôn ngữ-thị giác-hành động mã nguồn mở 6B

Robbyant thuộc Ant Group vừa ra mắt LingBot-VLA 2.0, một mô hình nền tảng Vision-Language-Action (VLA) dành cho robot. Bản phát hành này bao gồm báo cáo kỹ thuật, mã nguồn theo giấy phép Apache-2.0 và một checkpoint 6B. Nhóm nghiên cứu tập trung giải quyết một hạn chế phổ biến: các mô hình VLA thường hoạt động tốt trong phòng thí nghiệm nhưng lại gặp khó khăn khi triển khai thực tế. LingBot-VLA 2.0 cải tiến phiên bản trước dựa trên ba khía cạnh thực tiễn: khả năng tổng quát hóa, không gian hành động mở rộng và mô hình hóa động lực học dự đoán.

LingBot-VLA 2.0 là gì?

LingBot-VLA 2.0 là một chính sách robot tổng quát được xây dựng trên nền tảng vision-language. Nó chuyển đổi hình ảnh từ camera và chỉ dẫn ngôn ngữ thành các hành động của robot. Mô hình công khai là lingbot-vla-v2-6b, một checkpoint 6B với "độ sâu gốc" (native depth). Nó sử dụng Qwen3-VL-4B-Instruct làm nền tảng VLM. Hai mô hình giáo viên là LingBot-Depth và DINO-Video giám sát quá trình huấn luyện thông qua kỹ thuật chưng cất (distillation).

Một lần gọi suy luận mất khoảng 130 ms trên NVIDIA GeForce RTX 4090D. Phép đo này sử dụng 10 bước khử nhiễu (denoising steps). Chuyên gia hành động (action expert) sử dụng thiết kế Mixture-of-Experts (MoE) để mở rộng quy mô.

Đường ống dữ liệu: 60.000 giờ trên 20 cấu hình

Khả năng tổng quát hóa bắt đầu từ dữ liệu. Nhóm nghiên cứu đã tuyển chọn khoảng 60.000 giờ dữ liệu tiền huấn luyện, bao gồm 50.000 giờ quỹ đạo robot và 10.000 giờ video góc nhìn thứ nhất (egocentric) của con người. Dữ liệu robot trải dài trên 20 cấu hình robot, từ các hệ thống tay đơn đến robot hình người hoàn chỉnh. Tổng lượng dữ liệu thô lớn hơn nhiều: khoảng 90.000 giờ robot và 20.000 giờ video góc nhìn thứ nhất. Một đường ống (pipeline) được thiết kế lại giúp lọc các mẫu nhiễu để tạo ra tập dữ liệu chất lượng cao.

Việc lọc dữ liệu được thực hiện một cách rõ ràng và có thể đo lường. Nhóm nghiên cứu tính toán độ giật (jerk) bậc ba cùng với Z-score của vận tốc và gia tốc cho mỗi cấu hình robot. Các tập dữ liệu có độ mượt bất thường hoặc chứa hơn 95% tín hiệu tĩnh sẽ bị loại bỏ. Các video được kiểm tra đối chiếu với trạng thái phát lại sử dụng URDF của từng robot. Các chuyên gia chú thích loại bỏ hiện tượng nhòe, vật cản, mất khung hình và lệch góc nhìn. Các đoạn video góc nhìn thứ nhất được lọc qua VLM, sau đó thực hiện SLAM góc nhìn thứ nhất và tái tạo tư thế bàn tay MANO.

Việc chú thích được tự động hóa bằng mô hình vision-language. Qwen3.6-27B phân đoạn mỗi video thành các tác vụ con liên tục theo thời gian. Mỗi tác vụ con nhận một hành động nguyên tử từ từ vựng đóng gồm 18 danh mục. Từ vựng này bao gồm 15 hành động cơ bản cộng với di chuyển (transit), nghỉ (idle) và các hành động khác. Trong toàn bộ kho dữ liệu, hành động di chuyển và chuyển tiếp chiếm tần suất cao nhất.

Biểu diễn hành động thống nhất

Các robot khác nhau có các khớp nối khác nhau, vì vậy LingBot-VLA 2.0 thống nhất chúng. Nó sử dụng một vector chuẩn hóa 55 chiều cho cả trạng thái và hành động. Bố cục này được cố định trên mọi cấu hình robot trong tập dữ liệu.

Tư thế của bộ phận cuối (end-effector) mỗi cánh tay sử dụng tọa độ XYZ cộng với quaternion xoay, tạo ra 7 chiều cho mỗi cánh tay. Các robot thiếu bộ phận cơ thể sẽ được đệm các chiều tương ứng. Điều này cho phép một mô hình duy nhất điều khiển cánh tay, bàn tay, bộ kẹp, eo, đầu và các đế di động.

Chuyên gia hành động MoE

Chuyên gia hành động thay thế mạng feed-forward bằng các lớp MoE thưa thớt. Mỗi lớp MoE giữ lại một chuyên gia dùng chung cùng với một số chuyên gia được định tuyến. Chỉ các chuyên gia top-K được kích hoạt trên mỗi token, giúp giới hạn khối lượng tính toán. Mỗi chuyên gia là một SwiGLU MLP với chiều rộng trung gian nhỏ hơn.

Việc định tuyến tuân theo chiến lược dựa trên sigmoid, không cần hàm mất mát phụ (auxiliary-loss-free) lấy cảm hứng từ DeepSeek-V3. Độ lệch (bias) trên mỗi chuyên gia giúp điều chỉnh sự mất cân bằng tải mà không cần thêm hàm mất mát cân bằng tải. Độ tin cậy định tuyến vẫn đến từ các điểm số tương quan gốc, không chệch của mô hình. Với cùng số lượng tham số hoạt động, mô hình MoE đạt được độ mất mát huấn luyện thấp hơn so với mô hình cơ sở dày đặc (dense baseline). Nó cũng đạt được sai số hành động xác thực thấp hơn trên các tác vụ GM-100.

Chưng cất truy vấn kép cho động lực học dự đoán

Việc thực thi thực tế cần sự dự đoán, không chỉ là phản ứng với khung hình hiện tại. LingBot-VLA 2.0 thêm hai truy vấn có thể học được vào các token hình ảnh và văn bản. Qt nhắm vào quan sát hiện tại, và Qt+T nhắm vào quan sát tương lai. Khoảng thời gian T bằng với kích thước đoạn hành động (action chunk size).

Hai giáo viên giám sát các truy vấn này. LingBot-Depth cung cấp các tín hiệu hình học rõ ràng thông qua dự đoán độ sâu. DINO-Video cung cấp các tiền đề ngữ nghĩa có căn cứ về thời gian. DINO-Video được xây dựng trên nền tảng DINOv3 với cơ chế chú ý thời gian nhân quả theo khối (block-wise causal temporal attention) và 3D-RoPE. Nó được huấn luyện trên 5 triệu đoạn video bao gồm dữ liệu internet, góc nhìn thứ nhất và dữ liệu robot. Trên đánh giá LARYBench, DINO-Video dẫn đầu ở ba trong bốn chỉ số.

Kết quả đánh giá (Benchmark)

Robbyant đánh giá mô hình trong môi trường tổng quát trên GM-100 (Great March 100), một bộ tiêu chuẩn cho robot hai tay. Một chính sách duy nhất được huấn luyện chung trên chín tác vụ cho mỗi cấu hình robot. Kết quả được báo cáo dưới dạng điểm tiến trình / tỷ lệ thành công.

Đối với thao tác di động tầm xa, mô hình được kiểm tra trong hai thiết lập. In-domain (ID) sử dụng phân phối huấn luyện, trong khi OOD làm nhiễu tư thế và đối tượng.

Mức tăng trưởng lớn nhất nằm ở các tác vụ cần xác định chính xác đối tượng. Trên tác vụ Agilex Retrieve keychain, tỷ lệ thành công tăng từ 60.0 lên 100.0 so với phiên bản 1.0. Một số tác vụ vẫn cho thấy khoảng cách giữa tiến trình và thành công. Khoảng cách đó chỉ ra các lỗi ở bước đặt hoặc thả chính xác cuối cùng.

Bắt đầu sử dụng

Kho lưu trữ cung cấp các tập lệnh cài đặt, tải xuống và triển khai. Ví dụ dưới đây tải xuống các trọng số đã phát hành.

Việc triển khai trên robot thực tế chạy máy chủ chính sách với suy luận đã biên dịch.

Hậu huấn luyện sử dụng các tập dữ liệu LeRobot v2.1 hoặc v3.0. Ví dụ được cung cấp thực hiện tinh chỉnh (fine-tune) trên RoboTwin 2.0 qua 50 tác vụ. Việc định tuyến có thể sử dụng hàm mất mát phụ theo trình tự với z-loss, hoặc thiết lập không mất mát. Cấu hình cũng hỗ trợ trình tối ưu hóa Muon, với AdamW là mặc định.

Các trường hợp sử dụng với ví dụ

Không gian hành động mở rộng ánh xạ tới các kịch bản triển khai cụ thể.

Trình giải thích động tương tác (Interactive Dynamic Explainer)

Những điểm chính cần lưu ý

Hãy xem Báo cáo và Trọng số mô hình. Ngoài ra, hãy theo dõi chúng tôi trên Twitter, tham gia SubReddit ML 150k+ thành viên và đăng ký Bản tin của chúng tôi. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, sản phẩm mới hoặc hội thảo trực tuyến? Hãy kết nối với chúng tôi.

Lưu ý: Cảm ơn nhóm Ant Research vì tư duy lãnh đạo/tài nguyên cho bài viết này. Nhóm Ant Research đã hỗ trợ nội dung/bài viết này để quảng bá.